Si tienes instalado algún pack de compresores, como el de Elisoft, por ejemplo, lo primero es desinstalarlos. No es infrecuente que cuando se tienen muchos códecs instalados en el sistema haya conflictos entre ellos.
Si has quitado el pack y sigues teniendo problemas prueba a aumentar la prioridad de los filtros DIrectShow en TMPGEnc. Entra en "Enviromental settings" y luego en la última pestaña de la derecha. Pincha en DIrectSHow con el botón derecho del ratón y dale a "higher priority" para que quede arriba del todo
Si has quitado el pack y sigues teniendo problemas prueba a aumentar la prioridad de los filtros DIrectShow en TMPGEnc. Entra en "Enviromental settings" y luego en la última pestaña de la derecha. Pincha en DIrectSHow con el botón derecho del ratón y dale a "higher priority" para que quede arriba del todo