Obtener URLs sitio web??

[franthebaby]

Sabeis alguna forma de obtener todas las urls de un sitio web? Es decir la url de todas las paginas que contiene ese sitio web.

He visto que puede hacer con Phyton y Beautifulsoup pero me gustaria saber si es posible hacerlo con php.

Gracias.

[pateketrueke]

Sí, es posible pero no es nada fácil.

[Apolo_13]

Es muy sencillo, tan solo tienes que extraer la info de la pagina, y parsear todas sus url's.

Estas 2 funciones son la clave: preg_match_all() y get_file_contents().
Busca mas info sobre ellas, son muy fáciles de utilizar.

Saludos!

[pateketrueke]

Iniciado por Apolo_13

Es muy sencillo, tan solo tienes que extraer la info de la pagina, y parsear todas sus url's.

Estas 2 funciones son la clave: preg_match_all() y get_file_contents().
Busca mas info sobre ellas, son muy fáciles de utilizar.

Saludos!

Claro, y luego hay que hacerlo recursivamente, guardando un caché para evitar descargar todo dos veces, así de simple.

Por cierto, la función get_file_contents() no existe, creo que te refiere a file_get_contents().

Evita decir mentiras para no confundir a los usuarios.

[Apolo_13]

Vale, gracias por corregirme, es cierto, no existe. La memoria humana no es perfecta jaja!

Y lo de la cache, si es una buena idea para hacerlo mucho mas eficiente. ;)

[franthebaby]

Entonces es mas facil que obtengas las urls con phyton y beautifulsoup y ya luego las trato con php o lo que prefiera ¿No?

Gracias por responderme!

[NSD]

how do i make a simple crawler in php