Me auto respondo,
http://php.net/manual/es/function.scandir.php
leyendo en el manual oficial de php veo que las 1eras 2 posiciones del array que devuelve scandir() siempre son . y ..
Que la verdad no se ni que es, pero bueno, sabiendo esto ya he solucionado mi problema recorriendo el array desde la posición 2 ya que la 0 y 1 son . y ..