Lo que estas haciendo es recorrer el directorio y borrando todo lo que encontras (que novedad!). Te fafta una condicion que compare $banp con cada archivo del directorio, o sea $leido.
Quedaria algo asi...
Código PHP:
<?php
$ruta="/home/pagina/public_html/archivos/img/";
$dir=opendir($ruta);
while ($leido=readdir($dir)) {
if ($leido!="." && $leido!=".." && $banp == $leido) {
$fichero = $ruta.$leido;
unlink($fichero);
}
}
closedir($dir);
?>
Saludos.