En linux igualmente puedes usar tu servidor SMTP directo (por si no quieres usar el MTA sendmail por ejemplo ..)
Tan sólo hay que marcar la IP de donde corra tu servidor SMTP (si es que lo tienes instalado y ejecutandose?)
Pero, .. recuerda que mail() (PHP en sí con esa función) NO puede autentificarse en servidores SMTP que lo requieran. Si necesitas autentificación tendras que usar conexiones directas al SMTP para realizar el envio .. por ejemplo usando:
PHP Malier
http://phpmailer.sourceforge.net
Esto no "evita" que tengas que usar (el de tu proveedor ISP de tus cuentas de e-mail) o tener instalado (si es quieres usar tus própios servidores SMTP) un servidor SMTP o sendmail y similares .. Sólo te permite hacer la conexión con autentificación (entre otras cosas que te vendría ver por si acaso lo necesitas en algún momento).
Un saludo,