Para pasar DVD a AVI te recomiendo Gordian Knot o Auto Gordian Knot, son de los que mejor calidad te van a dar (aunque seguramente tarden más)
www.mundodivx.com/dvdavi/index.php
En cuanto al error seguramente será por el codec, quizá reinstalandolo se solucione...
Saludos