Los buscadores o crawlers que funcionan lanzando su robot a la caza de las páginas que irán recolectando para añadir a su base de datos comprueban sólo al llegar a una determinada página, los contenidos del fichero robots.txt.
Este fichero lo buscan en el directorio raíz del web site y es un fichero de texto plano, no un fichero HTML.
La existencia y el funcionamiento del fichero robots.txt se deben a los protocolos del W3 , con la intención de que el webmaster pueda ocultar al robot aquellos contenidos que no se desea hacer públicos o aplicar dichas reglas sólo para algún o algunos robots en concreto.
Si no dispones de ese fichero, el robot realiza siempre primero la petición, lo cual provoca que aparezca como error en las estadísticas de la web y el robot considera que no hay ninguna exclusión y podrá rastrear cualquier página del web site sin excepción.
Puedes utilizar un generador de fichero robots.txt como
<a href='ir.asp?http://www.webtoolcentral.com/webmaster/tools/robots_txt_file_generator/' target='_blank'>http://www.webtoolcentral.com/webmaster/...</a>