Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Ver el header que envia un crawler

Estas en el tema de Ver el header que envia un crawler en el foro de SEO en Foros del Web. Les contaré la historia para que entiendan mejor :P Todo partió cuando me hice cargo de una web para mejorar su posicionamiento, no soy un ...
  #1 (permalink)  
Antiguo 20/04/2008, 00:17
 
Fecha de Ingreso: abril-2008
Mensajes: 15
Antigüedad: 16 años
Puntos: 0
Ver el header que envia un crawler

Les contaré la historia para que entiendan mejor :P

Todo partió cuando me hice cargo de una web para mejorar su posicionamiento, no soy un experto pero se más que la persona que está encargada jaja... bueno la cosa es que modifiqué el robots.txt uno que otro nofollow. Y de las 80 visitas que tiene diariamente con un PR4 subio al otro dia en google analytics a las 300 visitas. Al otro dia reviso y subio a las 500 visitas. Hoy reviso e iba en las 700. desde ayer note que habian varios "visitantes" con ips parecidas, luego me di cuenta que esos "visitantes" se conectan todos a la misma hora con una ip parecida 74.6.x.x dije: "bahh... esto es un ataque dos de alguna red". Un amigo por twitter me dijo revisa el header que está enviando. ¿Donde veo eso?. Luego....

....Le hice un whois a una de las ips. El resultado fue que era de la red OrgName: Inktomi Corporation. Google el nombre y me encontre que era una empresa que se dedicaba al servicio web search. Y que fue comprada por yahoo en el 2002. O sea era el bot de Yahoo. Aun asi la página es antigua y quizas yahoo slurp nunca la indexo y ahora lo está haciendo pero tener mas de 200 bots en la web es normal? estoy pensando seriamente que se debe a la actualizacion 3.0 se Slurp...


Aun no tengo bien claro que es lo que pasa. he registrado como maximo 340 bots de yahoo. los uqe analytics me los está contando como visitas.
  #2 (permalink)  
Antiguo 20/04/2008, 01:57
Avatar de Nekko
Colaborador
 
Fecha de Ingreso: marzo-2008
Ubicación: Buenos Aires
Mensajes: 3.141
Antigüedad: 16 años, 1 mes
Puntos: 656
Re: Ver el header que envia un crawler

74.6.22.xx 74.6.23.xxx son las ips que ahora veo en mi foro bajo el nombre de yahoo. Quedate tranquilo, no te están atacando. Inclusive estoy notando que están apareciendo nuevos bots indexando para buscadores menos conocidos.

La verdad, ni idea como ver el header, pero metes esas ips en google y al ratito seguro encontrás exactamente la info que buscás cuando veas muchas ips parecidas. En tu caso, 90% segura que es yahoo.
  #3 (permalink)  
Antiguo 20/04/2008, 02:22
Avatar de aloqui  
Fecha de Ingreso: diciembre-2007
Mensajes: 973
Antigüedad: 16 años, 4 meses
Puntos: 24
Re: Ver el header que envia un crawler

Si, yo también he observado que el spider de Yahoo actúa muchas veces en paralelo sobre la misma web, sobre todo si tiene muchas páginas que rastrear como es mi caso.

Lo que puedes hacer si en tu hosting tienes pocos recursos, es decirle que no busque "demasiado a menudo". Para eso en el fichero robots.txt le indicas el tiempo que debe pasar entre consulta y consulta, pero ojo éste valor lo toma para cada spider individual, de modo que si hay varios en paralelo rastreando tu sitio, en realidad el tiempo entre consulta y consulta de cualquiera de ellos será menor.
Por ejemplo para indicarle 20 segundos sería algo así:

User-agent: *
Disallow:
Crawl-Delay: 20
__________________
Grupos de Música
Pop Music Stars
  #4 (permalink)  
Antiguo 20/04/2008, 12:29
 
Fecha de Ingreso: abril-2008
Mensajes: 15
Antigüedad: 16 años
Puntos: 0
Re: Ver el header que envia un crawler

Sí, pero 200 bots? no será mucho?
  #5 (permalink)  
Antiguo 20/04/2008, 12:50
Avatar de aloqui  
Fecha de Ingreso: diciembre-2007
Mensajes: 973
Antigüedad: 16 años, 4 meses
Puntos: 24
Re: Ver el header que envia un crawler

Cita:
Iniciado por N0Z3LF Ver Mensaje
Sí, pero 200 bots? no será mucho?
Si te refieres a 200 spiders de Yahoo en paralelo, con 200 IPs diferentes, tienes razon, me parece mucho.
Si te refieres a 200 spiders diferentes, no todos el de Yahoo, son bastantes aunque no excesivos.
Y si te refieres a 200 páginas chequeadas por los spiders, es bastante poco.
__________________
Grupos de Música
Pop Music Stars
  #6 (permalink)  
Antiguo 21/04/2008, 12:31
 
Fecha de Ingreso: abril-2008
Mensajes: 15
Antigüedad: 16 años
Puntos: 0
Re: Ver el header que envia un crawler

200 bots de yahoo! ayer se registraron 330. Pero lo más curioso es que no consume muchos recursos los bots tienen ip diferentes. variando al final x.x

Al menos las visitias segun analytics han mejorado.
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 09:52.