Robots, robots, robots

contreau · #1 (**permalink**) 14/02/2008, 12:12

holas

una pregunta sencilla !

1) es imprescindible tener un robot txt para mejor optimizacion ?
es tan util apra google como lo es un sitemap?

2) cada cuanto tiempo es recomendable que pase el robot de google, si la web tiene casi 1000 paginas, y la actualizacion no es periodica ya que su info es casi estatica.

3) pueden pasarme un codigo de un robot.txt que entre al site de robots pero no lo entiendo muy bien.
me refiero el codigo tal cual, porque vi por ahi que decian pon NOFOLLOW, o tal y tal, pero no se que va antes de esto, ni despues , ni como cierra al codigo, o seea NADA se.

Son mi salvacion ayudenme !

gracias, Contreau

RBZ · #2 (**permalink**) 14/02/2008, 14:42

Creo que estás confundiendo el meta tag con el archivo.

El código del archivo robots.txt varia dependiendo de lo que necesites.

crear un archivo robots.txt

2 La opción de limitar la frecuencia te la dan para que el bot no sature el servidor.

aloqui · #3 (**permalink**) 14/02/2008, 16:56

El fichero robots.txt es una declaración de lo que te gustaría que hiciesen los robots (o spiders) que visitan tu web y no tiene que ver con la opcimización de tu web. Como mucho sirve para indicar que secciones no quieres que te busquen y/o con que frecuencia máxima quieres que lo hagan.
Aunque de ésto último no puedes fiarte demasiado. Por ejemplo, tengo una web con muchas páginas que a veces es visitada simultaneamente por varias instancias del spider de Yahoo, y aunque cada uno de ellos si que respeta el tiempo definido en el parámetro "Crawl-Delay" entre dos accesos consecutivos, como hay varios de ellos husmeando a la vez el resultado es que los accesos totales entre todos los spiders de Yahoo son más frecuentes de lo indicado.

multirest · #4 (**permalink**) 15/02/2008, 11:14

no es imprescindible pero le facilita el rtabajo a las arañas de los buscadores

aloqui · #5 (**permalink**) 15/02/2008, 11:34

Cita:

Iniciado por multirest

no es imprescindible pero le facilita el rtabajo a las arañas de los buscadores

Pues yo creo que en realidad se lo complica, porque son nuevas reglas a respetar:
tiempo entre consultas, directorios prohibidos, etc.

Y otra cosa, hay muchos spiders que pasan olimpicamente de lo que se les diga en el fichero robots.txt. A algunos "user-agents" yo les tengo prohibido el acceso mediante reglas en el .htacces por no respetar lo indicado en el fichero robots.txt