Hola, tengo un sitio bajo Joomla, en donde la galeria esta en:
/galeria/albums/
Corre bajo Coppermine Photo Gallery 1.4.8
En mi robots.txt está como:
User-agent: Googlebot*
User-agent: Google*
Disallow: /galeria/
Por lo tanto el crawler no entrará al directorio de galerías y no podrá
ver los albums. En la carpeta galeria/ también hay otros archivos como: 
Los que estan en rojo no quiero que el crawler los rastree, hay alguna opcion de dejar visible la carpeta albums y dejar sin acceso a los demas archivos?
Saludos!