Ouch., un tema complejo.
El mejor compresor, de hecho el que es el estándard para blueray etc, es el H.264/MPEG-4 AVC
Hay una librería libre que no es h, sino x.264
http://es.wikipedia.org/wiki/X264
Pero fíjate que no los he probado con el virtual dub.
Uno que si sirve bien con el es el Xvid
http://www.xvid.org/
Pero de ahí va a depender si solo lo quieres tner grabado en tu disco duro, quieres quemar un dvd, blueray o subirlo a internet, a youtube o con html5.
El Quicktime ocupa el h.264, tal vez una opción es convertir tu archivo de 28 gigas a Qt. Pero No estoy seguro.