Virtualdub no te permite capturar a más de 288 puntos verticales... aunque sí puedes variar la resolución horizontal. Otros programas, como IUVCR, sí te deja subir la resolución vertical. De todas maneras, como has visto con esta cinta, no siempre se puede subir la resolución y, en algunos casos, incluso hay que bajarla.
Por cierto, luego, cuando comprimas dile que exporte a 352x288 (no dejes que lo ponga por defecto o te quitará puntos verticales y no será estándar) y el vídeo de entrada, 4:3 625 líneas (PAL)

Se te ve "bien" a 286 porque no se activa el overlay de la tarjeta gráfica ya que la altura no es múltiplo de 8.

No es que se vea mejor, es que no se aplica la aceleración por hardware de la tarjeta gráfica que dependiendo de la gráfica puede ser mejor o peor.

De todos modos te recomiendo que captures con multiplos de 16 para anchura y altura para evitarte futuros problemas.