Yo lo tengo así esta parte:
Código PHP:
require("class.phpmailer.php");
$mail = new PHPMailer();
$mail->IsSMTP(true);
$mail->Host = 'smtp.gmail.com:25';
$mail->SMTPAuth = true;
$mail->Username = '';
$mail->Password = '';
Con phpmailer.
No tengo lo de ssl. Si es que lo necesitas es mas complicado. En todo caso el port está en la línea de host. A mi me pasaba lo mismo y haciendo pruebas llegué a esto pero no me digas por qué funciona pero conseguí que me funcionara. En mi caso trabajo con easyphp en local que para el caso es lo mismo.