Hola Carlos, bienvenido al foro.
Veamos, 2 cosas importantes, si capturas análogo, siempre vas a perder calidad y requieres de un hardware que responda rápido, en tu caso, no tienes una tarjeta de video adicional y eso afecta mucho ya que estas partiendo en dos la memoria RAM, y otra cuestión importante, estas usando una tarjeta que en realidad no estan hechas para capturar con calidad bien bien...
Recomendación, para capturar en analógico, consíguete una buena tarjeta de video capturadora, con una de 128 te va bien, hay desde 1000 hasta 20000 (una unidad "n"), así que ahí ya depende del presupuesto.
Pero, si capturas por el puerto firewire, te evitas todo ese problema ya que es un simple paso de información, no es precisamente una captura. y debo recomendarte que cambies de software ya que el Pinnacle en sus versiones superiores a la 9 solo sirven para posavasos
Seguro cambiando de soft y usando capturas digitales resuelves tu problema.
Soft's para captura digital: Premiere o Vegas, de lo más recomendado por su potencia al editar lo capturado.