Hola,
Iba a reinventarla rueda, pero pense y mire en
www.php.net/rmdir , en los comentarios de los usuarios. Y el primero soluciona tu problema.
Recuerda que posiblemente alguien en el mundo ha tenido tu misma duda. Y si dio con una solucion decente, la puede publicar en los comentarios del manual. Por eso es tan interesante el manual online: por los comentarios de los usuarios que solucionan los problemas de uso diario de las funciones.
Saludos.