Ver el header que envia un crawler

[N0Z3LF]

Les contaré la historia para que entiendan mejor :P

Todo partió cuando me hice cargo de una web para mejorar su posicionamiento, no soy un experto pero se más que la persona que está encargada jaja... bueno la cosa es que modifiqué el robots.txt uno que otro nofollow. Y de las 80 visitas que tiene diariamente con un PR4 subio al otro dia en google analytics a las 300 visitas. Al otro dia reviso y subio a las 500 visitas. Hoy reviso e iba en las 700. desde ayer note que habian varios "visitantes" con ips parecidas, luego me di cuenta que esos "visitantes" se conectan todos a la misma hora con una ip parecida 74.6.x.x dije: "bahh... esto es un ataque dos de alguna red". Un amigo por twitter me dijo revisa el header que está enviando. ¿Donde veo eso?. Luego....

....Le hice un whois a una de las ips. El resultado fue que era de la red OrgName: Inktomi Corporation. Google el nombre y me encontre que era una empresa que se dedicaba al servicio web search. Y que fue comprada por yahoo en el 2002. O sea era el bot de Yahoo. Aun asi la página es antigua y quizas yahoo slurp nunca la indexo y ahora lo está haciendo pero tener mas de 200 bots en la web es normal? estoy pensando seriamente que se debe a la actualizacion 3.0 se Slurp...


Aun no tengo bien claro que es lo que pasa. he registrado como maximo 340 bots de yahoo. los uqe analytics me los está contando como visitas.