Hola, tengo un simple webcrawler que me buscar los links de una determinada página, pero quisiera saber como puedo hacer que el webcrawler me busque también los links de las páginas de segundo nivel o internas, he mirado de hacerlo recursivo pero no me acaba de funcionar y he oido que a lo mejor se debería de lanzar nuevos webcrawlers por cada link encontrado. Alguien tiene idea de como lo puedo hacer y así poder recorrer toda una web por todos los links en los diferentes niveles?
Gracias de antemano.
