De momento dinos cómo has conectado la cámara (imagino que por firewire, pero confirmalo) y revisa qué formato de captura has elegido en tu programa... si conectas por firewire entonces el formato debe ser AVI DV, si eliges otro como MJPEG o MPG es normal que salga de mala calidad.
Saludos