Hola,
JoeLitO, ¿has seguido toda la documentacion de esa clase? Por ejemplo, en
http://phpmailer.sourceforge.net/tutorial.html tienes un tutorial para enviar adjuntos. Con una linea adjunta el fichero. Pero el fichero lo tienes que subir de la manera "tradicional", es decir, usando los $_FILES y demas. Una vez subido el fichero, lo adjuntas con phpmailer. Son dos pasos distintos.
Saludos.
PD: Tambien suele ser bueno comentar que has hecho, para saber que puede ser lo que te esta fallando.
PD2: De todas formas, si alguien quiere crear un mini(o mega) tutorial y ponerlo en las FAQs, bienvenido.
PD3: Me suena que alguna de las respuestas que recomendaban phpmailer, ponian un link a un tutorial en castellano. Ahora no recuerdo el link.