Spider PHP

[gerazmv]

hola gente. Existe por alli algun spider que revise una web y sus enlaces internos?

necesito algun script que me revise las urls internas de un site y que me devuelva si existen o no las urls internas.

Alguien conoce algun script php free que se dedique a eso?

Saludos espero respuestas.

[emiliodeg]

bueno lo q podrias hacer es recoger todas las url con una expresion regular y luego intentar leerlas para ver si son ejecutables, si lo son es pq funcionan, ahora lo q tiene de malo esto es q si en una pagina promedio tienen unos 100 links te va a comer los recursos del sistema

[kaS_aPPeaL]

El problema de esto es que cuando ejecutes el script, si la página tiene muchos enlaces puede que el tiempo de respuesta del servidor que ejecuta tu script PHP se agote y te devuelva un "Expired".

Para hacer un spider optaría por que lo hicieras con algún lenguaje de programación como Java, C o similares.