31/08/2011, 16:07
|
| | | Fecha de Ingreso: octubre-2006
Mensajes: 179
Antigüedad: 17 años, 6 meses Puntos: 3 | |
| Como hacer un webcrawler que recorra todos los enlaces en diferentes niveles
Hola, tengo un simple webcrawler que me buscar los links de una determinada página, pero quisiera saber como puedo hacer que el webcrawler me busque también los links de las páginas de segundo nivel o internas, he mirado de hacerlo recursivo pero no me acaba de funcionar y he oido que a lo mejor se debería de lanzar nuevos webcrawlers por cada link encontrado. Alguien tiene idea de como lo puedo hacer y así poder recorrer toda una web por todos los links en los diferentes niveles?
Gracias de antemano. |