Lo que dicta la calidad en ese formato es el bitrate, si el soft que usas te permite ajustar el bitrate, usa un valor alto, arriba de 4000... O puedes probar con otros softwares tipo TMPGEnc, que se especializan en pasar formatos de video a VCD o DVD...