Si obtienes ese comportamiento .. lo que sucede es que no tienes instalado PHP correctamente, es decir .. no tienes "asociado" al interprete PHP a las páginas de extensión .php que pasan por ese servidor HTTP.
Esa "asociación" es parte de la instalación de PHP sobre Apache .. no sé si vas a instalar PHP como módulo de Apache o bien como CGI .. en cualquier caso te falta esa configuración (que se hace en httpd.conf de Apache).
No sé tampoco como estás instalando Apache y PHP . .pero podrías usar el sistema de paquetes de Debian ..
Un apt-get .. debería sobrar y dejar todo prácticamente listo .. Revisa este tutorial:
http://www.debian-administration.org/articles/357
Un saludo,