Para generar archivos AVI de más de 4 gigas activa la siguiente opción en las preferencias del AVIDemux

Tools -> Preferences -> Output -> Create OpenDML Files

CitarUse OpenDML (don't split large AVI files) – when the output format is   set to AVI, save the file in the OpenDML format instead of the old AVI   format (which has a file size limit). This enables you to save files   over 4 GB without splitting them.

Si sigue sin irte prueba a modificar la siguiente opción:

Tools-> AVI   Muxer Options  Slit every MB -> 4090 (cámbialo   por un número más alto)