Si tienes un sistema de autenticación, No es necesario poner en el archivo la clave. La capturas de lo que ingresa el usuario, la encriptas con md5 y pones la variable como parametro de entrada del mysql_connect.
Si no tienes sistema de autenticación, puedes hacer lo que dice gnzsoloyo o construirte un
.htaccess que es un archivo seguro donde puedes guardar este tipo de información.
saludos