Hola que tal, solamente fue el FreshBot - este pasa diariamente por tu web a ver si hay algun cambio, y al otro dia tu web ya no esta, si tu web estaba caida, cuando paso no pasa nada, el google bot vuelve a pasar mil veces, si luego pasados Tres mesces google ve que tu pagina no existe, empiesa a eliminar tu web, de no ser asi, google vuelve a revisar y revisar tu web hatsa que este On-Line
Cita: Aparte del robot GoogleBot (el que recorre apróximadamente cada mes las webs indexadas en Google), existe otro robot, llamado FreshBot.
Este último fue creado para solventar el problema que tenían muchos usuarios que, al buscar por temas de actualidad, veían que no había ninguna página web que hiciera referencia a ese suceso que había ocurrido hacía unas horas.
Esto se debía a que, si la noticia ocurría hoy mismo y un sitio web hacía referencia a ella, GoogleBot no iba a 'rastrearlo' hasta después de unas semanas, por lo que los resultados no estarían disponibles hasta esa fecha.
De esta manera, los ingenieros de Google decidieron crear un robot que 'rastrease' con más frecuencua los sitios web que consideraban que tenían las noticias 'más frescas'.
Así, sitios web como los de las mayores cadenas de noticias del mundo (CNN, Reuters, BBC), o páginas que Google considera que actualizan frecuentemente sus contenidos, son 'rastreados' por Freshbot cada cierto tiempo.
La frecuencia de Freshbot es variable, aunque generalmente suele realizar su 'rastreo' diariamente. Por ejemplo, se puede comprobar visitando la caché de los sitios web de CNN o del diario 'El Mundo', que este robot ha pasado hace uno o dos días.
No confundan el Freshbot con el GoogleBot
Ah finales de todos los meces se rializa el GoogleDance - lo cual pueden ir comprobando cuantos nuevos links o menos links tienen su web en los servidores www2 y www3 de google.com
Saludos
