La manera de informarle a los crawlers o spiders qué parte del sitio no queremos que visiten y; por lógica consecuencia, indexen, es mediante el archivo robots.txt
El cual como podrás deducir es sólo un archivo de texto plano. Debe estar en el root de tu sitio y, como ejemplo, puede tener la siguiente directiva:
Cita: User-agent: *
Disallow: /imagenes
Interpretado eso quiere decir:
primer línea: a todo los crawlers!
segunda línea: no ingresen a mi carpeta imagenes!
Visto el ejemplo, para una completa información: base de datos de crawlers, restricción a carpetas y archivos; podés consultar
http://www.robotstxt.org/
Suerte!