rmdir() no puede borrar directorios con contenido. Primero necesitas vaciarlo; abrirlo, recorrerlo, borrar archivos, hacer lo mismo con subdirectorios...
Ve en la documentación oficial, seguramente ya habrán comentado alguna función que haga eso (ve los comentarios de los usuarios):
www.php.net/rmdir
Si quieres hacer tu función consulta las funciones opendir(), is_dir(), unlink() y rmdir()... para empezar...
Suerte!
