Lo que puedes hacer es usar fsockopen y abrir una conexion al servidor SMTP configurado en el php.ini usando ini_get, si te responde correctamente es que existe, y entonces ya configuras la logica para usar mail(), si no te responde o esta vacia la cadena es que no hay un servidor SMTP configurado.
Saludos
