Pues primero que nada necesitas una computadora para ponerla de servidor, luego ver que sistema operativo usarás, linux o windows, generalmente se usa linux porque es más seguro y estable...
Dentro de linux tienes que ver que distribución instalarás, hay uno que se llama centos server que viene ya muy PRE configurado, yo lo uso y es muy bueno...Es un clon de redhat...
en centos puedes usar el sendmail o postfix para SMTP y dovecot o exim como para POP3, recomiendo que visites el sitio
www.howtoforge.org
Espero que te sirva
Saludos