Solo para enterados

[Yorch]

No sabía donde poner esto, espero que sea el sitio indicado.

En las stats de mi sitio encontré que el robot de Alexa (ia_archiver) y otros (como Altavista y Goggle) buscan un archivo "robots.txt" en la raiz del sitio, ¿alguien sabe que se supone que espera encontrar en él?, supongo que se usa para informarle al robot la estructura del sitio, actualizaciones y cosas así, pero son solo conjeturas.

Supongo que con ello se podría mantener el sitio en cuestión actualizado en buscadores como el propio alexa, google, y otros, pero lo bueno sería saber qué poner y como ponerlo ¿no?. Aunque supongo que esa información no está a libre acceso de todos y es muy especializada.

Bueno ojalá alguien sepa, seguro eso nos serviría mucho a los que buscamos hacer bien las cosas.

Suerte y saludos a todos.

[josemi]

Hola,

El robots.txt es para indicar a los robots que partes de la web NO PUEDE visitar. Sirve para que no indexen por ejemplo ciertos tipos de ficheros, ciertos directorios, etc. Mas info http://www.robotstxt.org/

Por cierto, los robots "malignos" (los que recogen direcciones de email de las paginas, por ejemplo), no obedecen normalmente estas restricciones.

Saludos.

[DanielHYD]

Una vez que te hayas mirado la pagina que te manda josemi y tengas el robots.txt a tu gusto puedes comprobar su sintaxis y que todo esta bien con esta utilidad :

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

Si tienes una web en html o asi no muy compleja lo mejor es no tener robots.txt para que los spiders entren cuando quieran y cacheen todo lo visble al publico.

Un saludo

[ivanff]

Pero el robots.txt lo deben tener todos los websites o simplemente los servidores, creía haber leido en otros post que el .txt se colocaba en el servidor.

[josemi]

Es por website, bueno, por dominio y creo que por subdominio, y debe estar en el directorio raiz del dominio/subdoinio: dominio.com/robots.txt

Saludos.

[Yorch]

Pues tal vez no está disponible por http porque pedi la dirección y me regresa error 404, y por ejemplo en Alexa, Inktomi, Google y otros si esta disponible por http.


Gracias a todos, sabía que aquí sabrían.