Creo, que para lo que quieres hacer tienes que poner esto:
rmdir -R y el directorio.
Asi es en ubuntu kubuntu y noseque más xD lo que hace es formar un bucle o algo asi era..xD y se borra todo el directorio, este o no esté vacio ;)
Pero segun veo esto es php asi que nose, pero prueba lo que sea
pd: mira
http://aidanlister.com/2004/04/recur...folder-in-php/
salu2