El if esta dentro del for, que empieza siempre con el 0. Compara el fichero actual con el de posicion 0 del fichero, si no son iguales ejecuta el else, lo borra.
La solucion seria en lugar de usar el for, seria usar in_array()
www.php.net/in_array para ver si el fichero actual esta en el array.