El mejor es xvid, otra cosa es que tu máquina tenga potencia suficiente para codificar en tiempo real... Si quieres algo de configuración puedes mirar por aqui:
www.mundodivx.com/subtitulos/avi.php (el manual es de otra cosa, pero te viene la configuración a una pasada que es lo que puedes usar)
Saludos