Solo para enterados

[Yorch]

No sabía donde poner esto, espero que sea el sitio indicado.

En las stats de mi sitio encontré que el robot de Alexa (ia_archiver) y otros (como Altavista y Goggle) buscan un archivo "robots.txt" en la raiz del sitio, ¿alguien sabe que se supone que espera encontrar en él?, supongo que se usa para informarle al robot la estructura del sitio, actualizaciones y cosas así, pero son solo conjeturas.

Supongo que con ello se podría mantener el sitio en cuestión actualizado en buscadores como el propio alexa, google, y otros, pero lo bueno sería saber qué poner y como ponerlo ¿no?. Aunque supongo que esa información no está a libre acceso de todos y es muy especializada.

Bueno ojalá alguien sepa, seguro eso nos serviría mucho a los que buscamos hacer bien las cosas.

Suerte y saludos a todos.