Vale ya he encontrado el problema. Se me había olvidado dar el nombre de usuario de la cuenta POP y su respectiva contraseña.
Aquí dejo un enlace, con un ejemplo muy bién explicado por si le interesa a alguién:
http://www.programacion.net/php/articulo/phpmailer/
Gracias a todos por la ayuda.
