17/04/2010, 10:39
|
| | | Fecha de Ingreso: abril-2009
Mensajes: 37
Antigüedad: 15 años Puntos: 3 | |
 El funcionamiento de un Spider Web
Como lo hacen los spiders para indexar todas las web que existen? por ejemplo, google, como hace para almacenar en su base de datos información de tanta pagina. Supongo que ahora les sera facil, ya que tendran una base de datos con millones de urls y un algoritmo pasara por ellas cada X tiempo, pero mi duda surgue para saber como se han hecho con la base de datos de tanta web.
Su algoritmo que ha ido visitando desde las IPs 1.1.1.1 a la 254.254.254.254 y alamacena su nombre e informacion??
Saludos |