Tengo entendido que ahora es requerido por el W3C incorporar en nuestros sitios el archivo "robots.txt" para que los buscadores puedan encontrarlo fácilmente, de hecho, dicho archivo hasta donde yo sé, es lo primero que buscan todos los robots desde que entran al sitio. Además, un buscador dá mejor ranking al sitio que lo contiene.
Para más info pueden ver:
http://www.robotstxt.org/wc/robots.html http://www.searchengineworld.com/rob...s_tutorial.htm
Suerte!!!