Obtener listado enlaces descarga de una web

[emprear]

Con esta herramienta
http://www.xml-sitemaps.com/

Entre los archivos generados hay uno llamado urllist.txt que contiene solo los enlaces

Con php, con esta script

Código PHP:

<?php
$html = file_get_contents('http://forosdelweb.com');
$todos = "";
$guardar = "";
$dom = new DOMDocument();
@$dom->loadHTML($html);
 
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");
 
for ($i = 0; $i < $hrefs->length; $i++) {
       $href = $hrefs->item($i);
       $url = $href->getAttribute('href');
       $todos .=  $url.'<br />';
       $guardar .=$url."\n";
}
 
       echo $todos;
       file_put_contents('links.txt', $guardar)
?>
 

No recuerdo bien, pero hay otros softwares tipo httrack que solo guardan la lista de links (teleport Pro, o alguno de esos, incluso el http://www.reget.com/en/)
También esta el
http://validator.w3.org/checklink
Que en el cuadro inferior te muestra las urls, aunque también mustra otros detalles por lo que deberías limpiar el contenido

SAludos