A mayor tamaño mayor calidad... pero no siempre, depende de más factores como el tipo de compresión, en este caso no puedes comparar una compresión MPEG-4 (divx, xvid) con una MPEG-1 (VCD) o MPEG-2 (SVCD, DVD), pues el MPEG-4 es muchísimo más eficiente en la compresión, por ejemplo un DVD de 8 GB lo puedes dejar con la misma calidad en un xvid de 2 GB.
Lo de los VCD es un caso especial ya que tienen un bitrate fijo de 1150 Kbps de vídeo y 224 Kbps de audio que hacen que cada minuto de vídeo ocupe exactamente 10 MB, por tanto el tamaño final depende de la duración, es decir si el vídeo que quieres pasar dura 120 minutos entonces ocupará unos 1200 MB. Los demás formatos son de bitrate variable y lo que ocupan depende de más cosas...