El Virtual Dub Mod es lo mismo que el Virtual Dub, pero con un mayor soporte para formatos.
Para cargarle los subtítulos deben estar en formato .ssa
La cuestión con el TMPGEnc es que no se qué tipo de audio tengas ni con qué codec, si lo tengas instalado como codificador o decodificador, puden ser "n" cosas.
Revisa
este manual de mundodivx y ve si lo solucionas.