20/04/2008, 02:22
|
 | | | Fecha de Ingreso: diciembre-2007
Mensajes: 973
Antigüedad: 16 años, 5 meses Puntos: 24 | |
| Re: Ver el header que envia un crawler
Si, yo también he observado que el spider de Yahoo actúa muchas veces en paralelo sobre la misma web, sobre todo si tiene muchas páginas que rastrear como es mi caso.
Lo que puedes hacer si en tu hosting tienes pocos recursos, es decirle que no busque "demasiado a menudo". Para eso en el fichero robots.txt le indicas el tiempo que debe pasar entre consulta y consulta, pero ojo éste valor lo toma para cada spider individual, de modo que si hay varios en paralelo rastreando tu sitio, en realidad el tiempo entre consulta y consulta de cualquiera de ellos será menor.
Por ejemplo para indicarle 20 segundos sería algo así:
User-agent: *
Disallow:
Crawl-Delay: 20 |