La versión "installer" no es más que la versión CGI de PHP .. no incluye extensiones principalmente (ningún php_xxx.dll) .. usa la versión "Zip package" (de
http://www.php.net/downloads.php) que está completa .. tanto como si quieras instalar PHP como módulo de Apache o como CGI pero tienes todas las extensiones y librerías necesarias para todo esto.
Tienes un tutorial al respecto completo sobre instalación de PHP 4 o 5 + Apache y Mysql (entre otros) en:
http://www.maestrosdelweb.com/editorial/phpmysqlap/
Un saludo,