Si, es cierto .. En la mayoría (todos?) los Sistemas Operativos .. para borrar una carpeta/directorio ... ha de estar vacio ..
Para "vaciarlo" de archivos puedes leer ese directorio y borrar (uno a uno) esos archivos con unlink()
Si te fijas en la documentación oficial de dicha función (bastante escueta por lo demás) .. tienes várias propuestas de hacer lo que te he planteado por parte de los comentarios de los usuarios:
http://www.php.net/manual/en/function.rmdir.php
Un saludo,