Ten en cuenta que readdir() sólo te da los nombres de los archivos y no la ruta completa.
Primero debes construir la ruta completa antes de usar unlink().
Tampoco olvides hacer algo de debug para ir observando lo que obtienes en tus variables, porque de otra forma ni tu ni nosotros podremos adivinar lo que sucede.
