Revisa esta guía de instalación de PHP+Apache+Mysql .. (manual) ..
http://www.maestrosdelweb.com/editorial/phpmysqlap/
Para desinstalar todo tan sólo debes desinstalar Apache de tu panel de control .. ahí eliminará el servicio de Apache creado y si no lo pudo hacer el desinstalador, puedes quitar el servicio de Apache a mano (con las herramientas de tu S.O. para gestionar los servicios .. el de Apache se llama normalmente así: Apache)
PHP sólo altera el httpd.conf (bueno lo haces tu a mano) .. y tu mismo si lo instalas manualmente mueves ciertas .dll a tu directorio de sistema (windows/system) .. Eliminalas si quieres deshacerte de todo rastro de PHP.
Un saludo,