Hay que instalar el interprete de php y hacerlo trabajar con el servidor web (Apache, IIS)
Hay instaladores que te dejan todo funcionando, con mysql, apache y php, ejemplo:
http://sourceforge.net/projects/phptriad/ para windows.
PHP se puede descargar desde aqui:
http://www.php.net/downloads.php