Lo que te sucede es que ni virtualdub ni tmpgenc soportan audio AC3. Olvidate del virtualdub y hazte con el último virtualdubmod, es muy parecido pero soporta muchas más cosas, tiene más opciones, y en general es muchísimo mejor.
En tu caso con el virtualdubmod tienes que extraer el audio AC3 y luego pasarlo a un formato que el tmpgenc te reconozca (WAV, MP3, MP2)
www.mundodivx.com/audio/previavcd.php (caso de audio AC3)