Es que hay una forma mejor. Si utilizas el modo IFO y el stream processing, puedes sacar por un lado el video en formato m2v y por otro el audio en AC3 o WAV, con lo cual al menos el video seguro que te lo admitirá... Si te sirve mira este manual:
www.mundodivx.com/rippers/dvddecrypter.php