Sí es que de default te da uncompressed.
Para este caso específico tienes que poner:
Video > Direct Stream copy.
Para escojer otro compresor como Xvid descargas el Xvid acá:
https://www.xvid.com/ y luego dentro de virtualdub vas a
Video > Compression y ya escojes el Xvid. Desafortunadamente esto lo tienes que repetir cada vez que entras.