Ver Mensaje Individual
  #1 (permalink)  
Antiguo 17/04/2010, 11:39
ertomasillo
 
Fecha de Ingreso: abril-2009
Mensajes: 37
Antigüedad: 8 años, 8 meses
Puntos: 3
Pregunta El funcionamiento de un Spider Web

Como lo hacen los spiders para indexar todas las web que existen? por ejemplo, google, como hace para almacenar en su base de datos información de tanta pagina. Supongo que ahora les sera facil, ya que tendran una base de datos con millones de urls y un algoritmo pasara por ellas cada X tiempo, pero mi duda surgue para saber como se han hecho con la base de datos de tanta web.

Su algoritmo que ha ido visitando desde las IPs 1.1.1.1 a la 254.254.254.254 y alamacena su nombre e informacion??

Saludos