Hola.
Eso se debera a que estes ejecutando el archivo directamente desde la carpeta donde lo tienes.
Para que PHP te funcione necesitas tener un servidor web con php funcionando, como por ejemplo Apache.
Te recomiendo que te instales
Appserv (apache + php + mysql) y lo ejecutes en localhost.
Saludos