A calidad máxima cabe una hora de vídeo. A partir de ahí puedes aumentar el tiempo, sabiendo que más tiempo menos calidad. Como la calidad es algo muy subjetivo, la relación, para ti, de calidad/espacio, es algo que debes de ir probando hasta dar con la adecuada.
Haz pruebas con un trozo de vídeo, mejor si tiene colorido y movimiento, bajando el bitrate en TMPGEnc. Cuando esté a tu gusto, puedes ayudarte con una calculadora de bitrates para calcular cuanto tiempo te puede caber el el dvd.
Saludos.