Foros del Web » Administración de Sistemas » Software para Servers »

Araña de google = servidor frito

Estas en el tema de Araña de google = servidor frito en el foro de Software para Servers en Foros del Web. Hola, cada vez que las arañas de google se ponen a indexar mi web la colapsan. ¿hay algún factor del apache2.conf que determine las cantidades ...
  #1 (permalink)  
Antiguo 28/04/2014, 08:46
 
Fecha de Ingreso: octubre-2007
Mensajes: 68
Antigüedad: 17 años, 2 meses
Puntos: 6
Araña de google = servidor frito

Hola, cada vez que las arañas de google se ponen a indexar mi web la colapsan.

¿hay algún factor del apache2.conf que determine las cantidades de peticiones que puede hacer una ip al servidor?

Gracias
  #2 (permalink)  
Antiguo 29/04/2014, 11:32
 
Fecha de Ingreso: abril-2014
Ubicación: Alicante
Mensajes: 23
Antigüedad: 10 años, 8 meses
Puntos: 1
Respuesta: Araña de google = servidor frito

Hola!

Para poder limitar o deshabiliar los accesos de las arañas de indexación de los motores de búsqueda que hay en internet, lo que tienes que hacer es poner un fichero robots.txt en el alojamiento de tu dominio e indicar que partes de tu web no se indexen y cuales sí, incluso qué motores de búsqueda limitar.

Echa un vistazo a este enlace:
http://es.wikipedia.org/wiki/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots

Explica como configurar este fichero y poder limitar así las visitas de los robots de indexación.

Saludos!
  #3 (permalink)  
Antiguo 30/04/2014, 05:24
 
Fecha de Ingreso: abril-2014
Mensajes: 14
Antigüedad: 10 años, 7 meses
Puntos: 0
Respuesta: Araña de google = servidor frito

Ratifico el comentario del compañero, y además, tengo la experiencia de que otras arañas de indexación no antienden a razones. Lo mejor es buscar en la web la araña en concreto, configurar el robots.txt según ponen en su web, y si de todas formas, como pasa muchas veces, no hacen caso al robots.txt, si tienes acceso a una plataforma de firewall (servidor VPS, dedicado, ...), bloquear las IPs que te están haciendo la indexación, aunque sea temporalmente, para que no lleguen a acceder al servicio web y no sobrecarguen la página.

Suerte!

Etiquetas: apache, google, ip, servidor, servidores-web
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta

SíEste tema le ha gustado a 1 personas




La zona horaria es GMT -6. Ahora son las 12:35.