Ver Mensaje Individual
  #1 (permalink)  
Antiguo 24/02/2010, 17:32
Avatar de j_aroche
j_aroche
Server Ninja
 
Fecha de Ingreso: agosto-2006
Ubicación: iPhone: 14.624481,-90.487457
Mensajes: 2.066
Antigüedad: 17 años, 8 meses
Puntos: 223
Googlebot found an extremely high number of URLs on your site

Alguien ha recibido este mensaje en Webmasters Tools?

Cita:
Googlebot encountered problems while crawling your site http://xxxxxxxx.

Googlebot encountered extremely large numbers of links on your site. This may indicate a problem with your site's URL structure. Googlebot may unnecessarily be crawling a large number of distinct URLs that point to identical or similar content, or crawling parts of your site that are not intended to be crawled by Googlebot. As a result Googlebot may consume much more bandwidth than necessary, or may be unable to completely index all of the content on your site.
Lo curioso es que me marca muchas URLs que tengo bloqueadas según el robots.txt, concretamente son relacionadas a un MediaWiki. Ya comprobé con "Fetch as Googlebot" que me da el error "Denied by robots.txt" al pedirle ingresar a una de esas URL's

Supongo que no debería preocuparme si en robots.txt las tengo bloqueadas, pero no se si alguien tenga una opinión distinta o tenga más detalles al respecto.
__________________
Blog: JavierAroche.com - Twitter: @j_aroche