Robots, robots, robots

[aloqui]

El fichero robots.txt es una declaración de lo que te gustaría que hiciesen los robots (o spiders) que visitan tu web y no tiene que ver con la opcimización de tu web. Como mucho sirve para indicar que secciones no quieres que te busquen y/o con que frecuencia máxima quieres que lo hagan.
Aunque de ésto último no puedes fiarte demasiado. Por ejemplo, tengo una web con muchas páginas que a veces es visitada simultaneamente por varias instancias del spider de Yahoo, y aunque cada uno de ellos si que respeta el tiempo definido en el parámetro "Crawl-Delay" entre dos accesos consecutivos, como hay varios de ellos husmeando a la vez el resultado es que los accesos totales entre todos los spiders de Yahoo son más frecuentes de lo indicado.