Tienes una completa guía de instalación de PHP sobre Apache (windows) y otros (Msyql ..etc) en:
http://www.maestrosdelweb.com/editorial/phpmysqlap/
En principio parece que te bajastes la versión CGI en lugar de la completa "Zip Package" que incluye esas y otras .dll (como extensiones por ejemplo).
Un saludo,