Foros del Web » Creando para Internet » HTML »

Descarga automática semibloqueada.

Estas en el tema de Descarga automática semibloqueada. en el foro de HTML en Foros del Web. Buenas: Estoy tratando de descargar varias páginas de un dominio y quiero hacerlo de forma automática. He probado con wget y con downloadthemall. Las páginas ...
  #1 (permalink)  
Antiguo 06/11/2017, 12:30
 
Fecha de Ingreso: junio-2011
Mensajes: 5
Antigüedad: 6 años, 4 meses
Puntos: 0
Descarga automática semibloqueada.

Buenas:
Estoy tratando de descargar varias páginas de un dominio y quiero hacerlo de forma automática. He probado con wget y con downloadthemall.

Las páginas contienen una tabla con resultados. Si bajo la página con el propio navegador firefox, lo baja sin problemas.
Si utilizo wget o downloadthemall la parte de la tabla no se descarga. El resto, sí.
¿A qué puede deberse? ¿Puede ser un script que bloquea descargas automáticas?

Muchas gracias.
Un saludo.
  #2 (permalink)  
Antiguo 06/11/2017, 14:08
 
Fecha de Ingreso: octubre-2009
Mensajes: 261
Antigüedad: 8 años, 1 mes
Puntos: 22
Respuesta: Descarga automática semibloqueada.

no, puede ser que dicha tabla se cargue mediante ajax y por eso wget no te funciona
  #3 (permalink)  
Antiguo 10/11/2017, 00:39
 
Fecha de Ingreso: junio-2011
Mensajes: 5
Antigüedad: 6 años, 4 meses
Puntos: 0
Respuesta: Descarga automática semibloqueada.

Sí, es posible.
Acabo de empezar a programar con HTML5, CSS y JavaScript.
¿Cómo puedo saber si se carga con Ajax?
¿Hay algún script antes, o después, en el que pueda ver que es eso lo que está ocurriendo?
En el archivo html de la descarga de la página completa, aparece la estructura de la tabla y los datos en "bruto", pero esos datos están en tiempo real.

Puedo pasarte el enlace de la página, si eso no incumple las normas del foro.
Muchas gracias.
Un saludo.
  #4 (permalink)  
Antiguo 10/11/2017, 01:10
 
Fecha de Ingreso: junio-2011
Mensajes: 5
Antigüedad: 6 años, 4 meses
Puntos: 0
Respuesta: Descarga automática semibloqueada.

[Vaya, he lanzado el mismo mensaje dos veces y no sé como borrarlo].

Sí, es posible.
Acabo de empezar a programar con HTML5, CSS y JavaScript.
¿Cómo puedo saber si se carga con Ajax?
¿Hay algún script antes, o después, en el que pueda ver que es eso lo que está ocurriendo?
En el archivo html de la descarga de la página completa, aparece la estructura de la tabla y los datos en "bruto", pero esos datos están en tiempo real.

Puedo pasarte el enlace de la página, si eso no incumple las normas del foro.
Muchas gracias.
Un saludo.
  #5 (permalink)  
Antiguo 10/11/2017, 11:07
 
Fecha de Ingreso: octubre-2009
Mensajes: 261
Antigüedad: 8 años, 1 mes
Puntos: 22
Respuesta: Descarga automática semibloqueada.

Cita:
Iniciado por shorosky Ver Mensaje
Sí, es posible.
Acabo de empezar a programar con HTML5, CSS y JavaScript.
¿Cómo puedo saber si se carga con Ajax?
¿Hay algún script antes, o después, en el que pueda ver que es eso lo que está ocurriendo?
En el archivo html de la descarga de la página completa, aparece la estructura de la tabla y los datos en "bruto", pero esos datos están en tiempo real.

Puedo pasarte el enlace de la página, si eso no incumple las normas del foro.
Muchas gracias.
Un saludo.
Claro que saldrá todo en bruto, porque lo que hace el navegador es guardar la pagina ya cargada y mostrada en el lienzo html (o estructura del DOM).

Para saber si usa ajax tendrás que analizar los bloques <script> y no, no existe una manera automatizada de saberlo ya que puede que use el XmlHttpRequest a través de algún FW u otro archivo *.js
  #6 (permalink)  
Antiguo 11/11/2017, 07:25
 
Fecha de Ingreso: junio-2011
Mensajes: 5
Antigüedad: 6 años, 4 meses
Puntos: 0
Respuesta: Descarga automática semibloqueada.

En eso estoy.
Por el momento, justo antes de donde aparece la tabla, hace una llamada por jquery a una función anónima. No sé como se gestiona eso, así que ando estudiando javascript y jquery.
Hay una función por ahí que sale de una página de deportes y parece que hace alguna consulta.

¿Es posible conseguir hacerme una página muy simple con una tabla y los resultados, si hago la misma consulta? ¿Esas consultas suelen estar protegidas?
¿Es posible hacer algún script para mi navegador, y que de maner automática me descargue x páginas habiéndolas cargado? ¿O utilizar un gestor de descargas que cargue los contenidos y después guarde la página completa Hmtl?
Que lo haga en bruto, o no, no me importa. Tengo un programilla con el que extraer los datos de la tabla.

Muchas gracias por vuestros aportes.
Un saludo.



La zona horaria es GMT -6. Ahora son las 21:13.