Aunque este post tiene mucho tiempo, hace unos meses me resultó de gran ayuda, así que como dice el refrán: "Nunca es tarde, cuando la dicha es buena". Seguramente en algún momento, alguien desesperado como yo lo estaba encuentre aquí la solución.
(Aclaro que soy aficionado a la edición de video, no tengo un manejo profesional)

Paso a relatar lo que me ocurría:
Hice un video con mezcla de fotos y algunas filmaciones de película S8 y de video. Aquí todas las transiciones eran las comunes de fundido, entremezclando los videos. Luego rendericé usando la aceleración por GPU, y lo hizo perfectamente, sin ningún error.
Tiempo después hice otro que eran muchos fragmentos de videos, a los cuales en su mayoría les hice la transición estándar, pero en algunas utilicé las de NewBlueFX. Al querer renderizar, empezaron los problemas que se me colgaba tanto el Vegas Pro 12 como el 9. No había forma de poder hacer el render. Hasta que encontré este post, donde decían que había que deshabilitar la aceleración por GPU. Hice eso, y solucionado el problema, se renderizó perfectamente.
Entonces, (como muy cabeza dura que soy) quería saber el por qué, el primer video lo pude renderizar con GPU y el otro no.
Tantas pruebas hice y sin resultados, ya estaba por abandonar, cuando se me ocurrió quitar todos los efectos NewBlueFX, y ahí estaba el problema, pude renderizar con GPU el segundo video.
Así que me puse a investigar y encontré por alguna parte en la web de NewBlueFX, que decía que los plugins NO eran compatibles con GPU.
Ahora acabo de entrar a la web de NewBlueFX, y veo que los nuevos son compatibles.
En Overview hay esta info: *Now OpenCL & CUDA compatible
y en Specifications:

Video Editing Host Compatibility

    Adobe Premiere Elements** 3.0+
    Adobe Premiere Pro CS5/5.5, CS6/6.5, CC
    Apple Final Cut Pro 6, 7, and X
    Avid Media Composer & Symphony 5, 6/6.5, 7
    Avid Studio**
    Corel Video Studio** X4+
    Grass Valley Edius 5/5.5, 6/6.5, 7
    Magix Movie Edit Pro/Plus/Premium** 17
    Magix Video Pro** X3+
    Pinnacle Studio** 10+
    Sony Vegas Pro 9, 10, 11, 12 (32-bit/64-bit OpenFX/DirectX)
    Sony Vegas Movie Studio 9, 10, 11, 12, 13 (32-bit/64-bit OpenFX/DirectX)

**Works in CPU mode.

Current Build: Win-131212, Mac-131217


Espero que esto sirva de ayuda a alguien.