yo estoy incurcionando en el formato
WebM y si lo usas con parámetro 2000k la calidad del video es excelente y el tamaño es 10 veces menor que en AVI. (no estoy exagerando, en AVI 20 minutos me creo un archivo de 600Mb, y en WebM me lo creó de 60Mb)
ATENCIÓN: Si lo usas con parámetros bajos (200k) la calidad va a bajar drásticamente)
Otra cosa que podrías hacer, siguiendo el consejo de Rafael, que pruebes pasarlo a MP4 o MPeg pero que le subas la resolución a 2000k (creo que es el intermedio entre calidad y tamaño)