Si usaste el instalador automatico de php en windows, puedes intentar quitarlo con el desintalador normal de windows, Ahora que si tu problema es que no se puede eliminar con eso:
. Pues usa algun limpiador de residuos que dejan las aplicaciones, por ejemplo el
PC Cleaner parece que anda en su version 3.5, es gratis y lo puedes conseguir desde casi cualquier portal de descargas para windows.
Ej:
http://www.download.com
Si la instalacion fue manual, no tienes mas que eliminar el directorio /php en C:/.
En cualquier caso, elimina el php.ini que esta en el dir /windows, para que no quede rastro.
Saludos