Envío de correos lento

[fieroso]

Tengo un script al que básicamente se le pasan direcciones extraidas de una base datos para enviar correos.

Bien como es normal uso un smtp ayudado de la clase phpmailer, antes usaba el smtp de gmail pero la velocidad era muy lenta, yo pensando que es una limitación que tiene puesta gmail para evitar los spamers.

Ahora decidí montarme mi propio servidor smtp el cual ya funciona de maravilla, pero la única pega es que al enviar con phpmailer tarda igual o más que el de gmail.

Me gustaría que me indicaran de que forma envian los correos de forma más rápida o si en cambio es que mi servidor de correo por defecto esta limitado (iredmail que se apoya en postfix)

Gracias, agradezco mucho esta información.