He estado releyendo el hilo de la pregunta y mirando a fondo el programa Open Broadcaster Software. Por partes:

1. He vuelto a comparar la imagen de previo y la grabada, y sigo sin ver diferencias apreciables. Tengo que hacer un zoom del 300 % en Photoshop para empezar a ver algo de degradación en los bordes de las letras. Algo por otra parte normal, ya que el render es una captura de un video comprimido, más lo que haya comprimido el jpg. Lo siento, pero no veo el problema.

2. El programa sí permite hacer ajustes en la calidad de grabación y en el bitrate. Aquí dan unos recomendaciones muy pertinentes de los valores que se deben usar para grabar:
https://helping-squad.com/recordingstreaming-choose-your-bitrate/

3. Hay una nueva versión del programa: se llama OBS Studio 0.15.4, salió ayer mismo 8 de agosto y permite muchos más ajustes de grabación que el OBS Classic. No está limitado a H264 y hay multitud de formatos y códecs para elegir.

4. Una buena práctica para desahogar la máquina, es grabar los videos en un disco que no sea el de sistema: otro disco interno o uno externo por USB.

Y nada más puedo aportar. Saludos.