Cita:
Iniciado por Cherivera 
hay ya estas mejor, porq recopilar todas las web del mundo solo te lo pudo pedir alguien muy poco instruido o bien te gastaron una broma.
[url]http://www.cyberhades.com/2009/02/15/creando-tu-propio-web-crawler-web-spider/[/url]
saludos.
de todos modos es la misma pregunta hecha de otra forma, el Spider tiene que servir para x enlaces como para xxxx² enlaces. Eso ya dependerá del que quiera invertir en mayor o menor cantidad de servidores.....
la gran pregunta es........ como se hace ese programa Spider???
y a propósito, esa referencia que nos das está muy interesante..
Saludos.