Hola
Bueno, la mayor utilidad de la etiqueta robots, es para indicar si una página y las que esta tiene vinculada han de ser indexadas o no, por ejemplo de esta forma:
Código HTML:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Sobre el archivo que te mencionaba, es simplemente un archivo de texto llamado "robots.txt" en el que indicas que robots pueden visitar tu sitio y cuales no. También les indicas que carpetas pueden visitar y cuales no.
En internet consigues montones de guías de como construir ese archivo. Luego debes ponerlo en la raíz de tu sitio.
Felicidad