La mayoría de veces ... los límites los impone la configuración de PHP o de tu servidor HTTP .. no el código (aunque PHP Mailer disponde de métodos para definir esos límites .. )
Revisa esta FAQ por lo menos para descartar que sea configuración de PHP o de tu servidor HTTP (usas Apache 2.x bajo Linux?)
http://www.forosdelweb.com/showpost....&postcount=146
Un saludo,