Foros del Web » Soporte técnico » Ayuda General »

Obtener listado enlaces descarga de una web

Estas en el tema de Obtener listado enlaces descarga de una web en el foro de Ayuda General en Foros del Web. Verán Una web ajena con muchos enlaces de descarga gratuitos interesantes. NO quisiera descargar los archivos correspondientes (para esto creo que downthemall para firefox lo ...
  #1 (permalink)  
Antiguo 10/01/2013, 00:03
Avatar de Pasote  
Fecha de Ingreso: mayo-2006
Ubicación: España - Islas Canarias
Mensajes: 389
Antigüedad: 16 años, 6 meses
Puntos: 3
Obtener listado enlaces descarga de una web

Verán
Una web ajena con muchos enlaces de descarga gratuitos interesantes.

NO quisiera descargar los archivos correspondientes (para esto creo que downthemall para firefox lo hace), sino obtener un listado de estos enlaces de descarga en un archivo de texto o similar.

Alguna herramienta software para ello ?

No me refiero a herramientas tipo httrack, sino simplemente a la obtención del listado de enlaces de descarga.

Gracias
  #2 (permalink)  
Antiguo 10/01/2013, 07:34
Avatar de emprear
Colaborador
 
Fecha de Ingreso: junio-2007
Ubicación: me mudé
Mensajes: 8.388
Antigüedad: 15 años, 5 meses
Puntos: 1567
Respuesta: Obtener listado enlaces descarga de una web

Con esta herramienta
http://www.xml-sitemaps.com/

Entre los archivos generados hay uno llamado urllist.txt que contiene solo los enlaces

Con php, con esta script

Código PHP:
Ver original
  1. <?php
  2. $html = file_get_contents('http://forosdelweb.com');
  3. $todos = "";
  4. $guardar = "";
  5. $dom = new DOMDocument();
  6. @$dom->loadHTML($html);
  7.  
  8. $xpath = new DOMXPath($dom);
  9. $hrefs = $xpath->evaluate("/html/body//a");
  10.  
  11. for ($i = 0; $i < $hrefs->length; $i++) {
  12.        $href = $hrefs->item($i);
  13.        $url = $href->getAttribute('href');
  14.        $todos .=  $url.'<br />';
  15.        $guardar .=$url."\n";
  16. }
  17.  
  18.        echo $todos;
  19.        file_put_contents('links.txt', $guardar)
  20. ?>

No recuerdo bien, pero hay otros softwares tipo httrack que solo guardan la lista de links (teleport Pro, o alguno de esos, incluso el http://www.reget.com/en/)
También esta el
http://validator.w3.org/checklink
Que en el cuadro inferior te muestra las urls, aunque también mustra otros detalles por lo que deberías limpiar el contenido

SAludos
__________________
La voz de las antenas va, sustituyendo a Dios.
Cuando finalice la mutación, nueva edad media habrá
S.R.
  #3 (permalink)  
Antiguo 10/01/2013, 13:39
Avatar de Pasote  
Fecha de Ingreso: mayo-2006
Ubicación: España - Islas Canarias
Mensajes: 389
Antigüedad: 16 años, 6 meses
Puntos: 3
Respuesta: Obtener listado enlaces descarga de una web

Me pongo en marcha y comentaré.
Muchas gracias.
De paso encontré uno que es web developer
un addon para firefox que permite ver enlaces ocultos
es una barra más para el navegador
information-display link details

http://chrispederick.com/work/web-developer/firefox/
  #4 (permalink)  
Antiguo 10/01/2013, 14:08
Avatar de Pasote  
Fecha de Ingreso: mayo-2006
Ubicación: España - Islas Canarias
Mensajes: 389
Antigüedad: 16 años, 6 meses
Puntos: 3
Respuesta: Obtener listado enlaces descarga de una web

la primera herramienta no me da lo que quiero. Me da los enlaces web o mapa web, pero no los enlaces de descarga que están en esa web.

Sigo.
Gracias
  #5 (permalink)  
Antiguo 10/01/2013, 16:03
Avatar de Pasote  
Fecha de Ingreso: mayo-2006
Ubicación: España - Islas Canarias
Mensajes: 389
Antigüedad: 16 años, 6 meses
Puntos: 3
Respuesta: Obtener listado enlaces descarga de una web

Sólo necesito un listado de enlaces de DESCARGA, no un plano de la web.

downloadable links

Gracias
  #6 (permalink)  
Antiguo 10/01/2013, 16:04
Avatar de Carlangueitor
Moderador ლ(ಠ益ಠლ)
 
Fecha de Ingreso: marzo-2008
Ubicación: México
Mensajes: 10.037
Antigüedad: 14 años, 8 meses
Puntos: 1329
Respuesta: Obtener listado enlaces descarga de una web

¿Y cómo identificas los links que son descargables de los que no?

Saludos
__________________
Grupo Telegram Docker en Español
  #7 (permalink)  
Antiguo 10/01/2013, 16:07
Avatar de emprear
Colaborador
 
Fecha de Ingreso: junio-2007
Ubicación: me mudé
Mensajes: 8.388
Antigüedad: 15 años, 5 meses
Puntos: 1567
Respuesta: Obtener listado enlaces descarga de una web

me parece que ya estás hilando muy fino, la función que te dejé recupera los enlaces, habrá que modificarla para recuperar solo las que apuntan a zip, rar, y las extensiones que requieras
__________________
La voz de las antenas va, sustituyendo a Dios.
Cuando finalice la mutación, nueva edad media habrá
S.R.
  #8 (permalink)  
Antiguo 10/01/2013, 16:09
Avatar de Pasote  
Fecha de Ingreso: mayo-2006
Ubicación: España - Islas Canarias
Mensajes: 389
Antigüedad: 16 años, 6 meses
Puntos: 3
Respuesta: Obtener listado enlaces descarga de una web

Si encuentro algo lo pongo. Sigo buscando.
Gracias
  #9 (permalink)  
Antiguo 11/01/2013, 14:00
Avatar de Pasote  
Fecha de Ingreso: mayo-2006
Ubicación: España - Islas Canarias
Mensajes: 389
Antigüedad: 16 años, 6 meses
Puntos: 3
Respuesta: Obtener listado enlaces descarga de una web

No he sido capaz de encontrar nada aún.
De todas formas lo que se ha puesto más arriba da enlaces webs o de página, no los enlaces de descarga en modo alguno.
No es lo que no los distinga, es que no los ve la herramienta mapa de sitio.

Sigo buscando un par de semanas más.
Algo debiera haber.
Por ejemplo la web filecrop dispone de alguna herramienta de comprobación de enlaces de descarga funcionales.
En cambio todo hemos observado en foros y otras webs que no actualizan sus enlaces que pueden estar rotos. Me refiero a los de descargas, pues otra vez aquí nos detenemos ante las webs con links rotos en sus páginas. Es decir páginas que apuntan a alguna parte que no existe.

Tampoco he visto, una herramienta de depuración de posibles enlaces de descarga que no funcionen, lo que nos acercaría al objetivo propuesto.

Gracias

Etiquetas: enlaces, listado
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 15:52.