Imagino que los estás grabando como DVD de vídeo ¿no? Lo que sucede ahí es que el Nero (¿es el programa que usas?) convierte los archivos AVI a MPEG-2, que generalmente ocupan más para poder mantener la calidad. La conversión es necesaria para crear un disco DVD que funcione en cualquier reproductor, pero si tu reproductor DVD soporta MPEG-4 (DivX o XviD) entonces no te hace falta y podrías grabarlos como DVD de datos, lo único es que no tendrías menús.
Suponiendo que no soporte MPEG-4, entonces hay que convertir los vídeos a MPEG-2 y hacer los menús. No te sirve recomprimir con el virtualdub ya que el Nero se basa en la duración de los archivos y ésta siempre es igual aunque lo comprimas más. Lo malo es que el Nero no te deja más que lo que mencionas, unos 2 ó 4 vídeos, ya que al meter más de dos horas en un DVD empieza a perder calidad.
Una posible solución es que con el TMPGEnc conviertas los AVI a formato CVD (de calidad parecida al DVD pero ocupando la mitad), así puedes meter unas 5 horas por DVD con calidad aceptable. Luego con los CVD creados haces una autoría DVD usando el TMPGEnc DVD Author si no quieres algo complejo.
Puedes mirar los manuales aquí:
www.mundodivx.com/mpeg/tmpgenc.php y
www.mundodivx.com/autoriadvd/index.php
Ojalá te sirva