PHPMaler tiene un parámetro especial para el puerto, por lo tanto deberías usarlo en vez de incluirlo en la dirección del host, por otro lado, si vas a usar el servidor SMTP local no deberías si quiera llamar a los métodos IsSMTP(), Host y SMTPAuth, al no definir los métodos PHPMailer entiende que debe usar el servidor local con los parámetros por defectos, si tienes mas dudas consulta el
manual de PHPMailer...
Solo como dato, localhost es un alias de la dirección IP 127.0.0.1 que es la dirección que apunta a la misma maquina, por lo tanto localhost se usa en muchos ámbitos para referirse a la misma maquina que esta ejecutando el programa/script/etc, por lo tanto hasta cierto punto es correcto usar localhost/127.0.0.1