Obtener listado enlaces descarga de una web

[Pasote]

Verán
Una web ajena con muchos enlaces de descarga gratuitos interesantes.

NO quisiera descargar los archivos correspondientes (para esto creo que downthemall para firefox lo hace), sino obtener un listado de estos enlaces de descarga en un archivo de texto o similar.

Alguna herramienta software para ello ?

No me refiero a herramientas tipo httrack, sino simplemente a la obtención del listado de enlaces de descarga.

Gracias

[emprear]

Con esta herramienta
http://www.xml-sitemaps.com/

Entre los archivos generados hay uno llamado urllist.txt que contiene solo los enlaces

Con php, con esta script

Código PHP:

<?php
$html = file_get_contents('http://forosdelweb.com');
$todos = "";
$guardar = "";
$dom = new DOMDocument();
@$dom->loadHTML($html);
 
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");
 
for ($i = 0; $i < $hrefs->length; $i++) {
       $href = $hrefs->item($i);
       $url = $href->getAttribute('href');
       $todos .=  $url.'<br />';
       $guardar .=$url."\n";
}
 
       echo $todos;
       file_put_contents('links.txt', $guardar)
?>
 

No recuerdo bien, pero hay otros softwares tipo httrack que solo guardan la lista de links (teleport Pro, o alguno de esos, incluso el http://www.reget.com/en/)
También esta el
http://validator.w3.org/checklink
Que en el cuadro inferior te muestra las urls, aunque también mustra otros detalles por lo que deberías limpiar el contenido

SAludos

[Pasote]

Me pongo en marcha y comentaré.
Muchas gracias.
De paso encontré uno que es web developer
un addon para firefox que permite ver enlaces ocultos
es una barra más para el navegador
information-display link details

http://chrispederick.com/work/web-developer/firefox/

[Pasote]

la primera herramienta no me da lo que quiero. Me da los enlaces web o mapa web, pero no los enlaces de descarga que están en esa web.

Sigo.
Gracias

[Pasote]

Sólo necesito un listado de enlaces de DESCARGA, no un plano de la web.

downloadable links

Gracias

[Carlangueitor]

¿Y cómo identificas los links que son descargables de los que no?

Saludos

[emprear]

me parece que ya estás hilando muy fino, la función que te dejé recupera los enlaces, habrá que modificarla para recuperar solo las que apuntan a zip, rar, y las extensiones que requieras

[Pasote]

Si encuentro algo lo pongo. Sigo buscando.
Gracias

[Pasote]

No he sido capaz de encontrar nada aún.
De todas formas lo que se ha puesto más arriba da enlaces webs o de página, no los enlaces de descarga en modo alguno.
No es lo que no los distinga, es que no los ve la herramienta mapa de sitio.

Sigo buscando un par de semanas más.
Algo debiera haber.
Por ejemplo la web filecrop dispone de alguna herramienta de comprobación de enlaces de descarga funcionales.
En cambio todo hemos observado en foros y otras webs que no actualizan sus enlaces que pueden estar rotos. Me refiero a los de descargas, pues otra vez aquí nos detenemos ante las webs con links rotos en sus páginas. Es decir páginas que apuntan a alguna parte que no existe.

Tampoco he visto, una herramienta de depuración de posibles enlaces de descarga que no funcionen, lo que nos acercaría al objetivo propuesto.

Gracias