Ver Mensaje Individual
  #3 (permalink)  
Antiguo 30/04/2014, 05:24
Pedro_J_Sanchez
 
Fecha de Ingreso: abril-2014
Mensajes: 14
Antigüedad: 8 años, 2 meses
Puntos: 0
Respuesta: Araña de google = servidor frito

Ratifico el comentario del compañero, y además, tengo la experiencia de que otras arañas de indexación no antienden a razones. Lo mejor es buscar en la web la araña en concreto, configurar el robots.txt según ponen en su web, y si de todas formas, como pasa muchas veces, no hacen caso al robots.txt, si tienes acceso a una plataforma de firewall (servidor VPS, dedicado, ...), bloquear las IPs que te están haciendo la indexación, aunque sea temporalmente, para que no lleguen a acceder al servicio web y no sobrecarguen la página.

Suerte!