Foros del Web » Administración de Sistemas » Software para Servers »

Las arañas me dejan K.O. el servidor

Estas en el tema de Las arañas me dejan K.O. el servidor en el foro de Software para Servers en Foros del Web. Como puedo hacer que las arañas de google y buscadores random, no me indexen parte de mi web que no me interesa (y que no ...
  #1 (permalink)  
Antiguo 01/03/2013, 09:14
 
Fecha de Ingreso: octubre-2007
Mensajes: 68
Antigüedad: 12 años
Puntos: 6
Las arañas me dejan K.O. el servidor

Como puedo hacer que las arañas de google y buscadores random, no me indexen parte de mi web que no me interesa (y que no aporta visitas)

He probado con <META name="robots" content="NOINDEX"> en la cabecera de esas web, pero aun así veo las ip de google haciendo de las suyas!!!
  #2 (permalink)  
Antiguo 01/03/2013, 19:57
Avatar de lllmozartinlll  
Fecha de Ingreso: junio-2011
Ubicación: REUS
Mensajes: 46
Antigüedad: 8 años, 4 meses
Puntos: 2
Respuesta: Las arañas me dejan K.O. el servidor

Porque no pruebas con "nofollow". Suerte.

Saludos cordiales,

lllmozartinlll
  #3 (permalink)  
Antiguo 02/03/2013, 01:34
 
Fecha de Ingreso: octubre-2007
Mensajes: 68
Antigüedad: 12 años
Puntos: 6
Respuesta: Las arañas me dejan K.O. el servidor

Ahora mismo tengo

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

y así sigue por ahí haciendo de las suyas :(

gracias por contestar
  #4 (permalink)  
Antiguo 02/03/2013, 04:58
Avatar de imsitega  
Fecha de Ingreso: marzo-2013
Ubicación: Lugo
Mensajes: 43
Antigüedad: 6 años, 7 meses
Puntos: 3
Respuesta: Las arañas me dejan K.O. el servidor

Cita:
Iniciado por arrasia Ver Mensaje
Como puedo hacer que las arañas de google y buscadores random, no me indexen parte de mi web que no me interesa (y que no aporta visitas)

He probado con <META name="robots" content="NOINDEX"> en la cabecera de esas web, pero aun así veo las ip de google haciendo de las suyas!!!
Prueba modificando el archvio robots.txt a algo parecido a esto:
Código:
User-agent: *
Disallow: /
Crawl-delay: 120
Si tienes un VPS o un dedicado se podrian mirar otrasa opciones.

Un saludo ;)
  #5 (permalink)  
Antiguo 02/03/2013, 05:29
 
Fecha de Ingreso: octubre-2007
Mensajes: 68
Antigüedad: 12 años
Puntos: 6
Respuesta: Las arañas me dejan K.O. el servidor

Pero esa configuración impediría al robot en toda la web no?

Yo necesito que sea en ciertas paginas dinamicas, por ejemplo la de los usuarios

user.php?id=XXXX


Como le indico eso al spiderman de google?

¡¡Gracias!!
  #6 (permalink)  
Antiguo 02/03/2013, 15:27
Avatar de imsitega  
Fecha de Ingreso: marzo-2013
Ubicación: Lugo
Mensajes: 43
Antigüedad: 6 años, 7 meses
Puntos: 3
Respuesta: Las arañas me dejan K.O. el servidor

Cita:
Iniciado por arrasia Ver Mensaje
Pero esa configuración impediría al robot en toda la web no?

Yo necesito que sea en ciertas paginas dinamicas, por ejemplo la de los usuarios

user.php?id=XXXX


Como le indico eso al spiderman de google?

¡¡Gracias!!
Podrias intentarlo con esto:

Código:
User-agent: *
Disallow: /user.php
Crawl-delay: 120
Suponiendo que el archivo user.php esta en la raíz.

;)
  #7 (permalink)  
Antiguo 06/03/2013, 10:28
Avatar de function  
Fecha de Ingreso: abril-2010
Mensajes: 278
Antigüedad: 9 años, 5 meses
Puntos: 13
Respuesta: Las arañas me dejan K.O. el servidor

Mira referente a lo que dices, te comento.

Asegrate de configurar bien un robots.txt y deja que teindexen solo los bots que quieras ej:
User-agent:* te permite tanto bing, como google, como yahoo y cualquier bot.

Usa la simpleza y piensa en que robots.txt pueden ser udos como un firewall pero dedicado a crawlers

primero has un Disallow a todo y despues haz un allow a solo lo que tu quieras. Esto te podria resultar muy extenso si tu sitio es grande.

si tu sitio no es grande, y/o quieres que te crwalen el sitio, haz lo que te dice imsitega es una muy muy buena opción.
__________________
~# echo Hemos logrado la independencia, pero no la libertad >> SimonBolivar

Etiquetas: ip, servidor, servidores-web
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta

SíEste tema le ha gustado a 3 personas




La zona horaria es GMT -6. Ahora son las 22:50.