Caso raro en Google

[chrishxc]

Muchas gracias a todos.
La verdad es que necesitaba más una lluvia de ideas que "soluciones", pues ya os puedo asegurar que no hay fallo de programación, no hay error de robots, no hay keyword stuffing, ni excesos de anchors.

En fin... creo (espero) que he dado con el problema.

Ayer cuando procedía a realizar un nuevo sitemap de todo el sitio, dividido en landings, categorías, subcategorías, artículos y otros (para controlar qué indexaba y qué no) me encuentro que el "xenu" me devuelve error cuando lleva unas 50 páginas crawleadas.

Cuando lo intenté con screamingfrog más de lo mismo a las 30 y pocas... Uauh... raro!!

Creo que es el puto firewall del server!! que se activa cuando hay una petición demasiado elevada desde una misma IP (vamos... lo que hace Google) para evitar un ataque de negación (que recibimos unos cuantos el mes pasado).

Las ip's de Google teóricamente deberían están salvadas del firewall... pero ahora mismo me lo apostaría todo a que es eso, ya que Google cada vez llega con más ip's que no son públicas.

Eso explicaría como hay una desindexación a lo bestia (no caída) sin tener una penalización manual.

Os seguiré explicando.

Un saludo!