para borrar un archivo neceitas unlink... para borrar un directorio necesitas rmdir... en la página oficial (deberia ser un recurso primordial) podrás encontrar ejemplos de lo que buscas...
http://mx2.php.net/manual/es/function.rmdir.php
Ve los comentarios..
Suerte!
