Yo te recomiendo esto:
Mailscanner + f-prot + Spamassassin
http://www.mailscanner.info http://www.f-prot.com http://www.spamassassin.org
No te vuelven más lento el servidor. Ahora que depende de a qué le llames volverse más lento. A mi la entrega de correo se me retrasa de media 1 a 2 segundos, por lo que ni me preocupo.