Así es, utiliza la funcion is_dir y haz la condicion necesaria para este caso,... pon algo así
Código:
if (is_dir($directorio)){
while ($directorio=readdir()) echo '<li><a href="'.$directorio.'">'.$directorio.'</li>';
}
Creo que debería funcionarte algo por el estilo.
Saludos