unlink() sirve para borrar un archivo, rmdir() para borrar una carpeta vacía.
Debes iterar todos los archivos dentro de la carpeta a borrar y eliminar todos los archivos primero, luego borras la carpeta.
Te sugiero consultar el manual para que te aclares.
http://php.net/unlink http://php.net/rmdir