Foros del Web » Programando para Internet » PHP »

Como hacer un webcrawler que recorra todos los enlaces en diferentes niveles

Estas en el tema de Como hacer un webcrawler que recorra todos los enlaces en diferentes niveles en el foro de PHP en Foros del Web. Hola, tengo un simple webcrawler que me buscar los links de una determinada página, pero quisiera saber como puedo hacer que el webcrawler me busque ...
  #1 (permalink)  
Antiguo 31/08/2011, 16:07
 
Fecha de Ingreso: octubre-2006
Mensajes: 179
Antigüedad: 15 años, 3 meses
Puntos: 3
Como hacer un webcrawler que recorra todos los enlaces en diferentes niveles

Hola, tengo un simple webcrawler que me buscar los links de una determinada página, pero quisiera saber como puedo hacer que el webcrawler me busque también los links de las páginas de segundo nivel o internas, he mirado de hacerlo recursivo pero no me acaba de funcionar y he oido que a lo mejor se debería de lanzar nuevos webcrawlers por cada link encontrado. Alguien tiene idea de como lo puedo hacer y así poder recorrer toda una web por todos los links en los diferentes niveles?

Gracias de antemano.

Etiquetas: diferentes, enlaces, niveles, webcrawler
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 22:02.