Ver Mensaje Individual
  #2 (permalink)  
Antiguo 29/04/2014, 11:32
schloss
 
Fecha de Ingreso: abril-2014
Ubicación: Alicante
Mensajes: 23
Antigüedad: 8 años, 2 meses
Puntos: 1
Respuesta: Araña de google = servidor frito

Hola!

Para poder limitar o deshabiliar los accesos de las arañas de indexación de los motores de búsqueda que hay en internet, lo que tienes que hacer es poner un fichero robots.txt en el alojamiento de tu dominio e indicar que partes de tu web no se indexen y cuales sí, incluso qué motores de búsqueda limitar.

Echa un vistazo a este enlace:
http://es.wikipedia.org/wiki/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots

Explica como configurar este fichero y poder limitar así las visitas de los robots de indexación.

Saludos!