Verificaste que estes haciendo la conexión a tu servidor seguido de la instancia del mismo?
mssql_connect(), aparte de esto verifica que la librería ntwdblib.dll este en el mismo directorio del PHP, copia esta librería a la carpeta WINDOWS\system32, reinicia tu servidor web y prueba nuevamente.
Saludos..