En TMPGEnc la solución sería (suponiendo que uses el asistente), en el paso 3/5 en Other Settings -> Advanced, cambiar las opciones de Video arrange method y ponerle "Full Screen (Keep aspect ratio 2)", con eso lo que hará será poner bandas negras para completar la resolución y no se deformará la imagen