Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Visita de robots.

Estas en el tema de Visita de robots. en el foro de SEO en Foros del Web. Hola,realmnte tengo una duda con las visitas de los robots.La primera duda es un porque. Porque siendo el msnbot el robot que mas visita mi ...
  #1 (permalink)  
Antiguo 08/01/2005, 05:06
Avatar de lord_pinga  
Fecha de Ingreso: octubre-2004
Ubicación: Miramar,Pemproke Pines,FL
Mensajes: 241
Antigüedad: 19 años, 5 meses
Puntos: 0
Visita de robots.

Hola,realmnte tengo una duda con las visitas de los robots.La primera duda es un porque.

Porque siendo el msnbot el robot que mas visita mi web(1 vez al dia) no me manda visitas,si acaso 2 al dia y google que no lo hace con tanta frecuencia(3 0 4 veces a la semana) me manda actualmente mas de 300 visitas diarias.

La segunda duda es que si es malo que los robots te visiten todos los dias,realmente no se si es normal esto o no.Gracias por cualquier aclaracion.
  #2 (permalink)  
Antiguo 09/01/2005, 17:00
Avatar de oscarva  
Fecha de Ingreso: agosto-2004
Ubicación: Bogota - Colombia
Mensajes: 425
Antigüedad: 19 años, 7 meses
Puntos: 2
a mi tambien

me pasa lo mismo, un dia el robot de msn me consumio 800mb de transferencia y sin envargo me manda solo 2 visitas diarias, pasa todos los dias y me tiene la transferencia por las nubes
__________________
Colsitio. Guía de Hosting
  #3 (permalink)  
Antiguo 10/01/2005, 02:14
Avatar de lord_pinga  
Fecha de Ingreso: octubre-2004
Ubicación: Miramar,Pemproke Pines,FL
Mensajes: 241
Antigüedad: 19 años, 5 meses
Puntos: 0
Ese es el punto viejo,ocupa muchos megas y nada de visitas,es mas aqui te dejo una captura

Este de diciembre


y esta de enero



No mires el de google pq ese me da muchas visitas,pero el de msnbot ocupa muchos megas para nada,ni tres visitas al dia.Que raro esto no?
  #4 (permalink)  
Antiguo 10/01/2005, 02:33
Ex Colaborador
 
Fecha de Ingreso: junio-2002
Mensajes: 9.091
Antigüedad: 21 años, 9 meses
Puntos: 16
Hola,

La logica te responde la primera duda. Los bots solo leen las paginas, pero las visitas son humanos que usan el buscador y pinchan en el enlace para llegar a tu pagina. ¿Cual es el numero de usuarios humanos que usan M$N? ¿Que porcentaje de esos usuarios busca tus terminos? ¿Que porcentaje de ellos pinchan en tu link?

M$N no se que porcentaje de usuarios lo usan, pero bastante menos que google. Eso si, parece que M$ quiere que su bot se pasee mucho por internet. Esto le podria permitir mostrar antes las modificaciones de tu web. Si modificas tu pagina despues de la visita del bot, tienes que esperar a la siguiente visita para que tu modificacion tenga reflejo en el buscador.

El mayor problema de que un bot te visite mucho es el consumo de transferencia. Imaginate una web con muchas paginas indexadas por google, yahoo (slurp) y M$N.
Cita:
La segunda duda es que si es malo que los robots te visiten todos los dias,realmente no se si es normal esto o no.
Supongo que puede ser normal, los buscadores quieren las ultimas versiones de las paginas. Google suele adaptar su frecuencia a la frecuencia de actualizacion de la pagina.

Saludos.
__________________
Josemi

Aprendiz de mucho, maestro de poco.
  #5 (permalink)  
Antiguo 10/01/2005, 03:19
Avatar de lord_pinga  
Fecha de Ingreso: octubre-2004
Ubicación: Miramar,Pemproke Pines,FL
Mensajes: 241
Antigüedad: 19 años, 5 meses
Puntos: 0
Te entiendo josemi,pero el punto es que no recibo visitas de msn,una o dos al dia,entonces pq el msnbot viene tanto.Google no me interesa pq recibo las visitas.Ya estamos a 10 de enero y el msnbot me ha consumido 12 mb y me ha dado 0 visitas,no quiero ver a final de mes,seria recomndable onfigurar el robot.txt para que el msnbot solo mire el index y nada mas?

Saludos.
  #6 (permalink)  
Antiguo 10/01/2005, 05:06
Ex Colaborador
 
Fecha de Ingreso: junio-2002
Mensajes: 9.091
Antigüedad: 21 años, 9 meses
Puntos: 16
Cita:
entonces pq el msnbot viene tanto
Por su algoritmo. Puede que tengas links en pagina que visita frecuentemente y piense que por ello tambien deba visitarte.

Pero no hay relacion entre visitas del robot y visitas humanas desde ese buscador.
Cita:
eria recomndable onfigurar el robot.txt para que el msnbot solo mire el index y nada mas?
No tengo ni idea si eso afectaria a tu posicionamiento en ese buscador. Aunque tambien es cierto que si ya no recibes visitas de ese buscador, tampoco te importaria perder posicionamiento en el.

¿Causa problemas de funcionamiento en tu pagina? Si tienes un ancho de pagina determinado, o un numero de conexiones a BD limitado, la visita de un bot podria perjudicar al rendimiento de tu pagina cara a los usuarios humanos.

Saludos.

PD: Esas estadisticas dan que cada visita de robot lee mas de 40000 bytes, ¿no es un tamaño muy grande para unas paginas HTML? ¿No te estara indexando ficheros o imagenes?
__________________
Josemi

Aprendiz de mucho, maestro de poco.
  #7 (permalink)  
Antiguo 10/01/2005, 10:59
Avatar de sanjoseastiller  
Fecha de Ingreso: octubre-2004
Ubicación: Astillero,Ganador de la C
Mensajes: 198
Antigüedad: 19 años, 5 meses
Puntos: 0
Pregunta como conseguir...

¿Como consigo que los robots me visiten?
__________________
¿Sabes lo que son las regatas de traineras? , ¿No? . Es el deporte más practicado en la costa de norte de España y uno de los más duros del mundo y desde la PEÑA SAN JOSÉ seguimos a la mejor trainera del Cantábrico :LA S.D.REMO ASTILLERO ..
:aplauso: :aplauso: :aplauso:
  #8 (permalink)  
Antiguo 10/01/2005, 15:45
Avatar de oscarva  
Fecha de Ingreso: agosto-2004
Ubicación: Bogota - Colombia
Mensajes: 425
Antigüedad: 19 años, 7 meses
Puntos: 2
me pasa lo mismo como te dije con el msn, creo que lo boy a expulsar de mi web, ayer paso y me consumio 120 megas, duro 4 horas en mi web.
__________________
Colsitio. Guía de Hosting
  #9 (permalink)  
Antiguo 10/01/2005, 15:51
Avatar de Prefontaine  
Fecha de Ingreso: agosto-2004
Mensajes: 313
Antigüedad: 19 años, 7 meses
Puntos: 0
Me podeís explicar brebemente que es todo so el robot?

Un saludo
  #10 (permalink)  
Antiguo 10/01/2005, 16:04
Avatar de lord_pinga  
Fecha de Ingreso: octubre-2004
Ubicación: Miramar,Pemproke Pines,FL
Mensajes: 241
Antigüedad: 19 años, 5 meses
Puntos: 0
Cita:
Iniciado por oscarva
me pasa lo mismo como te dije con el msn, creo que lo boy a expulsar de mi web, ayer paso y me consumio 120 megas, duro 4 horas en mi web.

120 mb en un dia.Creo que estas exagerando un poco no?

Prefontaine los robots o spiders son programas que usan los buscadores para buscar nuevas webs,actualizaciones,documentos,fotos y todo lo que se pueda indexar en ellos y asi aparecer en los buscadores.Pero aveces alguno de esos programas se pasan y lo unico que hacen es quitarte mucho ancho de banda.
  #11 (permalink)  
Antiguo 11/01/2005, 09:53
Avatar de oscarva  
Fecha de Ingreso: agosto-2004
Ubicación: Bogota - Colombia
Mensajes: 425
Antigüedad: 19 años, 7 meses
Puntos: 2
[QUOTE=lord_pinga]120 mb en un dia.Creo que estas exagerando un poco no?

enserio, no estoy exagerando, eso antes es poco, el 28 de dic estuvo 14 horas en mi pagina y consumio 800 mb me dejo sin transferencia y mi web estuvo caida todo el 31.

que hacemos?? no lo dejamos entrar??
__________________
Colsitio. Guía de Hosting
  #12 (permalink)  
Antiguo 11/01/2005, 11:28
Ex Colaborador
 
Fecha de Ingreso: junio-2002
Mensajes: 9.091
Antigüedad: 21 años, 9 meses
Puntos: 16
oscar, ¿intentaba acceder a imagenes? como primer paso, prueba a usar robots.txt para que no indexe tus imagenes y ficheros donde no busca. Luego podrias tambien poner en robots.txt paginas que no te interese o no te importe que te indexe.

La verdad es que ningun robot que se precie deberia atacar tanto un sitio. Parece un intento de DoS.

Saludos.
__________________
Josemi

Aprendiz de mucho, maestro de poco.
  #13 (permalink)  
Antiguo 13/01/2005, 04:11
 
Fecha de Ingreso: diciembre-2003
Mensajes: 59
Antigüedad: 20 años, 2 meses
Puntos: 0
Podriais explicarme un poco para que se usa el robot.txt y como se configura?
¿Para expulsar a un robot o a alguien de tu web, como se hace???
GRACIAS
  #14 (permalink)  
Antiguo 13/01/2005, 04:44
Ex Colaborador
 
Fecha de Ingreso: junio-2002
Mensajes: 9.091
Antigüedad: 21 años, 9 meses
Puntos: 16
Zidane, el robots.txt es un simple fichero de texto que los robots leen y hacen caso si quieren, y si no pasan de el. No es nada que impida que entren, es voluntad de los robots obecederlo o no. Los "chicos buenos" lo obedecen.

Si lo que quieres es impedir realmente que alguien (robot o persona, mas bien IP) no pueda llegar a entrar a tu web, debes hacerlo a nivel de servidor web.

Saludos.
__________________
Josemi

Aprendiz de mucho, maestro de poco.
  #15 (permalink)  
Antiguo 13/01/2005, 05:38
 
Fecha de Ingreso: diciembre-2003
Mensajes: 59
Antigüedad: 20 años, 2 meses
Puntos: 0
muchas gracias josemi
estoy intentando aprender a cerca de las tecnicas de posicionamiento en buscadores, m parece muy util y muy interesante. Ahora esoty , como has podido ver, algo verde. Puedes decirme donde puedo encontrar informacion, tutoriales, de verdad interesantes y practicos a cerca de este tema?
muchas gracias. Da gusto aprender con vosotros
;)
  #16 (permalink)  
Antiguo 13/01/2005, 20:32
Avatar de mvalls  
Fecha de Ingreso: diciembre-2001
Ubicación: Santa Rosa, Argentina
Mensajes: 1.093
Antigüedad: 22 años, 3 meses
Puntos: 1
Sep a mi también me comen ancho de banda a full, esto es en lo q va de enero nomás.

Googlebot (Google) - 3402 - 141.10 MB - 13 Ene 2005 - 06:51
Inktomi Slurp - 744 - 3.99 MB - 13 Ene 2005 - 06:39
Unknown robot - 232 - 1.30 MB - 12 Ene 2005 - 14:27
__________________
Webmaster :: Mundiales de Fútbol
  #17 (permalink)  
Antiguo 14/01/2005, 04:32
 
Fecha de Ingreso: agosto-2004
Mensajes: 513
Antigüedad: 19 años, 6 meses
Puntos: 5
Mucha transferencia es esa para dos o 3 visitas, no te sale rentable que te visite MSN, yo filtraría el robot de MSN. Puedes hacerlo de dos formas, cone l fichero robots.txt o desde el fichero de configuracion de Apache.
  #18 (permalink)  
Antiguo 14/01/2005, 07:34
 
Fecha de Ingreso: enero-2005
Mensajes: 27
Antigüedad: 19 años, 2 meses
Puntos: 1
Mensaje

Fijate en www.maestrosdelweb.com , www.1-en-buscadores.com , www.desarrolloweb.com/promocion, www.cannedbollks.com, www.wordtracker.com
__________________
:arriba: WWW.VAMOSALCUZCO.COM =) 1 viaje gratis
  #19 (permalink)  
Antiguo 14/01/2005, 19:41
Avatar de mvalls  
Fecha de Ingreso: diciembre-2001
Ubicación: Santa Rosa, Argentina
Mensajes: 1.093
Antigüedad: 22 años, 3 meses
Puntos: 1
Q buen comentario Ñ_ñ
__________________
Webmaster :: Mundiales de Fútbol
  #20 (permalink)  
Antiguo 17/01/2005, 06:10
Avatar de magoote  
Fecha de Ingreso: agosto-2004
Ubicación: Patagonia - Argentina
Mensajes: 187
Antigüedad: 19 años, 7 meses
Puntos: 0
Zidan, aca podes encontrar mucha informacion interesante:
http://www.desarrolloweb.com/manuales/4/
__________________
Desarrollo sitios web portales hosting Neuquen Argentina
• La imaginación es más importante que el conocimiento Albert Einstein (1879-1955)
  #21 (permalink)  
Antiguo 17/01/2005, 12:08
 
Fecha de Ingreso: enero-2002
Mensajes: 1.438
Antigüedad: 22 años, 2 meses
Puntos: 0
Cita:
Iniciado por oscarva
me pasa lo mismo como te dije con el msn, creo que lo boy a expulsar de mi web, ayer paso y me consumio 120 megas, duro 4 horas en mi web.
M$ consume mucho, pero suele tener la educación de consumir por la noche.

Código:
Visitas de Robots/Spiders    
22 Visitas de Robots Solicitudes Ancho de banda Última visita 
 :borracho: MSNBot 21046+315 529.96 MB 31 Dic 2004 - 22:52 
 :corazon: Googlebot (Google) 4209+59 107.03 MB 31 Dic 2004 - 20:12 
  :pensando:???  Unknown robot (identified by 'crawl') 3327+16 80.49 MB 31 Dic 2004 - 18:38 
 :-D Inktomi Slurp 2298+989 69.60 MB 31 Dic 2004 - 22:48 
 :-D Alexa (IA Archiver) 1489+40 39.29 MB 31 Dic 2004 - 20:52 
  :pensando: GigaBot 343+138 2.87 MB 31 Dic 2004 - 10:02 
Monitor de estado :policia: InternetSeer 467 119.94 KB 31 Dic 2004 - 21:25 
 ? LinkWalker 178+1 1.05 MB 10 Dic 2004 - 11:33 
 ? gazz 160+2 1.98 MB 21 Dic 2004 - 00:48 
 ? Unknown robot (identified by hit on 'robots.txt') 0+144 72.41 KB 31 Dic 2004 - 18:28 
 Buscador: Jeeves 62+9 338.78 KB 28 Dic 2004 - 09:35 
 ? WISENutbot (Looksmart) 59+3 1.13 MB 24 Dic 2004 - 18:34 
 ? MSIECrawler 28+16 145.36 KB 31 Dic 2004 - 14:31 
 ? IBM_Planetwide 29+3 385.08 KB 26 Dic 2004 - 16:43 
 ? psBot 23+3 381.70 KB 16 Dic 2004 - 20:08 
 ? Turn It In 13+1 526.52 KB 31 Dic 2004 - 01:14 
 ? Fluid Dynamics Search Engine robot 6+6 815.47 KB 22 Dic 2004 - 13:08 
 ? SurveyBot 4 0 27 Dic 2004 - 04:40 
 ? BaiDuSpider 3 36.85 KB 30 Dic 2004 - 16:13 
 ? Unknown robot (identified by 'robot') 1+1 9.60 KB 15 Dic 2004 - 01:37 
Estadisticas sitios web: Netcraft Web Server Survey 2 526 Bytes 30 Dic 2004 - 04:25 
 ? Unknown robot (identified by 'spider') 1 9.07 KB 03 Dic 2004 - 00:31 
 
* Números después de + son solicitudes correctas en los archivos “robots.txt”.



Advanced Web Statistics 6.0 (build 1.704) - Created by awstats
  #22 (permalink)  
Antiguo 17/01/2005, 12:09
 
Fecha de Ingreso: enero-2002
Mensajes: 1.438
Antigüedad: 22 años, 2 meses
Puntos: 0
al final me salio un churro

q es crawl?

el resto más o menos aparece, en http://www.robotstxt.org/wc/active/html/ pero este no.

Última edición por rrufo; 17/01/2005 a las 12:23
  #23 (permalink)  
Antiguo 17/01/2005, 14:03
 
Fecha de Ingreso: octubre-2004
Mensajes: 877
Antigüedad: 19 años, 5 meses
Puntos: 2
No se olviden que MSN esta a punto de lanzar su propio motor de busquedas que ahora esta en BETA (http://beta.search.msn.com/) y por eso aunque esta indexando TODA la red no genera casi visitas.

Ya veras que MSN te va a dar visitantes por miles, por que va a competir con todo con Google.
  #24 (permalink)  
Antiguo 17/01/2005, 14:13
Avatar de lord_pinga  
Fecha de Ingreso: octubre-2004
Ubicación: Miramar,Pemproke Pines,FL
Mensajes: 241
Antigüedad: 19 años, 5 meses
Puntos: 0
Cita:
Iniciado por yenerich
No se olviden que MSN esta a punto de lanzar su propio motor de busquedas que ahora esta en BETA (http://beta.search.msn.com/) y por eso aunque esta indexando TODA la red no genera casi visitas.

Ya veras que MSN te va a dar visitantes por miles, por que va a competir con todo con Google.
Bueno,esperemos que tu boca sea santa,pq sino nos vamos a quedar sin ancho de banda,aunque no creo que de la noche a la manana se ponga a la par de google.Como webmaster y como usuario diario de internet todo lo que necesito lo busco en google y asi seguire.
  #25 (permalink)  
Antiguo 17/01/2005, 14:23
 
Fecha de Ingreso: octubre-2004
Mensajes: 877
Antigüedad: 19 años, 5 meses
Puntos: 2
No digo que de la noche a la mañana, pero si que va a entrar fuerte y que seguramente va a generarte un buen numero de visitantes.
Yo estoy igual que vos, recibibo mas visitas de MSNbot que de GoogleBot, pero esyot esperando a ver si MSN ya saca el BETA como version funcional pronto.
Por lo pronto podes probar en ese BETA que tan bien salis en las busquedas...

Yo, por ejemplo, en un sitio que aca mostre como logre que Google me indexara en 24 hrs, en MSN tenga ya mas de 6 mil paginas indexadas!!
(Google ya me indexo como 3 mil, pero ahora solo esta mostrando 38 paginas)

Mira: http://beta.search.msn.com/results.a...m.ar&FORM=QBHP

Asi que soy el primero en DESEAR fervientemente que MSN salga pronto a la luz con su nuevo buscador, que ademas esta buenisimo, fijate que bien y pronto indexa todo un sitio!!

Última edición por yenerich; 17/01/2005 a las 14:28
  #26 (permalink)  
Antiguo 17/01/2005, 14:37
Avatar de lord_pinga  
Fecha de Ingreso: octubre-2004
Ubicación: Miramar,Pemproke Pines,FL
Mensajes: 241
Antigüedad: 19 años, 5 meses
Puntos: 0
Que curioso,este beta ha echo lo que google no ha echo aun,indexarme los mensajes de mi foro,esperemos a que salga completamente.Aunque mis visitas desde este buscador son de 0 a 3 diarias,la mayoria de los dias es de 0.Bueno,hay que tener paciencia pq si de verdad msn me da aunque sea la mitad de lo que me da google ya es buenisimo
Saludos.
  #27 (permalink)  
Antiguo 17/01/2005, 16:32
 
Fecha de Ingreso: octubre-2004
Mensajes: 877
Antigüedad: 19 años, 5 meses
Puntos: 2
Cita:
Iniciado por lord_pinga
Que curioso,este beta ha echo lo que google no ha echo aun,indexarme los mensajes de mi foro,esperemos a que salga completamente.

Eso es lo que todo el mundo ha observado, el BETA de MSN parece mas eficiente en la indexacion. Es un buen elemento para suponer que podra competir fuerte con Google.
  #28 (permalink)  
Antiguo 18/01/2005, 01:24
Ex Colaborador
 
Fecha de Ingreso: junio-2002
Mensajes: 9.091
Antigüedad: 21 años, 9 meses
Puntos: 16
Cita:
el BETA de MSN parece mas eficiente en la indexacion
Creo que para saber eso tendremos que esperar a que acabe la primera indexacion. M$N partia con una base de datos de cero, tiene que indexar todas las paginas rapidamente para no parecer menos que google. Por eso creo que m$n va ahora como una moto: no conoce ninguna web.

PAra mi mas eficiente es indexar solo lo que tiene que indexar.
Cita:
MSNBot 21046+315 529.96 MB 31 Dic 2004 - 22:52
Googlebot (Google) 4209+59 107.03 MB 31 Dic 2004 - 20:12
¿Y si tu sitio esta completamente indexado y actualizado leyendo 150MB? Entonces google es mas efectivo que m$n. ¿Crees que es efectivo indexar una pagina que no ha sido modificada? Yo no, creo que es consumir transferencia a lo tonto.

Ya veremos como evoluciona, creo que lo pasan a oficial ahora. De todas formas, ¿de que sirve que sea igual o mejor si los usuarios no lo usan? Habra que ver como consigue M$ "adeptos" a su buscador.

Saludos.
__________________
Josemi

Aprendiz de mucho, maestro de poco.
  #29 (permalink)  
Antiguo 18/01/2005, 10:12
 
Fecha de Ingreso: octubre-2004
Mensajes: 877
Antigüedad: 19 años, 5 meses
Puntos: 2
Bueno, veremos como sigue el tema cuando MSN saque el buscador a funcionar.
Yo creo que la publicidad se la van a hacer todos los medios de comunicacion por ser de Microsoft, es decir, va a ser noticia y mucha gente se va a enterar... despues viene el lado 'oscuro' del tema, que seguramente sera el buscador por defecto de explorer, etc.
De hecho ESE es el lado que me preocupa de este tema, que Microsoft siga acumulando poder.

Mi muy personal impresion es que este nuevo buscador es muy eficiente para indexar y para mostrar resultados, viene muy fuerte para poder competir con Google.
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 23:25.