Hola,
Si no te entiendo mal, lo que quieres es en lugar de usar mail(), conectarte directamente con el servidor SMTP externo.
Si es asi, si, se puede. Mediante sockets, conociendo el protocolo de los mensajes SMTP (ahora no recuerdo el RFC). La clase
http://phpmailer.sourceforge.net tiene la opcion de usar un SMTP en lugar de mail().
Saludos.