Si quieres instalar un servidor SMTP en tu PC para tus pruebas .. tendrías que indicar que S.O. usas para recomendarte alguno concreto.
Lo que es a nivel de configuración de PHP no tienes ni que tocar nada si es que instalas tu servidor de correo en el mismo PC que corre PHP pues la directiva:
SMPT = .. de tu php.ini ya apunta a "localhost" si fuese otro sitio ... indica ahí la IP o dominio mail.tal.tal
También puedes usar tu própio ISP para enviar tu e-mail sin necesidad de instalar un servidor de e-mail (SMTP) en tu PC.
En ese caso .. si usas tu ISP directo en la configuración de mail de PHP (php.ini en su directiva SMTP = ...) vas a tener problemas si tu ISP que te presta el servicio de SMTP requiere autentificación ya que PHP NO autentifica .. en su defecto tendrías que usar classes como:
PHP Mailer
http://phpmailer.sourceforge.net
Esa classe no sólo te permite enviar un e-mail pasando por un servidor SMTP que requiera autentificación .. sino otras cosas interesantes como enviar archivos adjuntos .. etc. Revisalo .. por qué es un buen sustituto a mail() simple de PHP:
Un saludo,