Lo unico que te haría falta es especificar el puerto en phpmailer de tu servidor de correo en este caso si usas gmail es asi:
$mail->Port = 465;
Te adjunto una página para que te orientes
http://www.buayacorp.com/archivos/phpmailer-con-gmail/
No se si con esto abre resuelto tu duda.