Como es eso de que "no quiere cambiar"? .. que código usas (insisto) .. que archivo y donde modificas a PHP Mailer? .. PHPMailer usa por defecto ese puerto si tu en tu conexión no especificas otro.
Deberías especificar dicho puerto de la misma forma que indicas el "host":
Código PHP:
$mail->Port=elquesea;
Los problemas posteriores que tengas de conexión .. deberías revisar tus conexiones .. por ejemplo si usas un firewall, o router .. revisa que tenga abiertos esos puertos en salida ..
Un saludo,