Foros del Web » Programación para mayores de 30 ;) » Java »

Descargar web

Estas en el tema de Descargar web en el foro de Java en Foros del Web. Estoy haciendo un programilla bastante simple en java, el programa lo único que hace es que a partir de un direccion web (URL) descarga el ...
  #1 (permalink)  
Antiguo 11/01/2014, 13:48
 
Fecha de Ingreso: enero-2014
Mensajes: 1
Antigüedad: 10 años, 3 meses
Puntos: 0
Descargar web

Estoy haciendo un programilla bastante simple en java, el programa lo único que hace es que a partir de un direccion web (URL) descarga el contenido html a local en txt, resumiendo lo que viene siento un "Guardar como" desde cualquier navegador, que te descargas la web a local.
Pero en este caso quiero que lo haga un programa externo. y va bien hasta toparme con este estilo de web:

El problema que tengo es que por ejemplo en la web de EXPEDlA le paso una direccion web ( la dirección de ejemplo se encuentra en el código en la web de pastebin ) al programa y se descarga la web correctamente pero se descarga digamos el html estatico, luego hay otro dinamico que muestra un mensaje de "Estamos procesado su información" y al cabo de X segundos muestra los precios de los viajes, pero el programa de java no espera a esa informacion y me descarga la web de tal forma que la web que me descarga es esta.


La imagen se puede ver aqui:
http://s2.subirimagenes.com/imagen/previo/thump_8769244expetia.png


¿Alguien sabe como podría descargar la web pero con toda la informacion?
Es decir que se descargue cuando la web haya mostrado la solicitud de petición?


tampoco se si es posible hacerlo para este tipo de webs, porque con web normales funciona.

Adjunto la clase java en el link de abajo.


[url]http://pastebin.com/ABzXUeM5[/url]
  #2 (permalink)  
Antiguo 13/01/2014, 09:26
Avatar de chuidiang
Colaborador
 
Fecha de Ingreso: octubre-2004
Mensajes: 3.774
Antigüedad: 19 años, 7 meses
Puntos: 454
Respuesta: Descargar web

Hola:

Ahí el problema es que el html estático tiene código javascript que se ejecuta y es el que completa la página. Tu código java coge el html estático y no ejecuta el javascript, por lo que no se completa el resto.

No estoy seguro, pero la librería HTMLUnit http://htmlunit.sourceforge.net/ si carga el html estático, ejecuta el javascript y te acceso a los resutlados. Echale un ojo a ver si con ella es más fácil.

Se bueno.
__________________
Apuntes Java
Wiki de Programación

Etiquetas: clase, html, programa
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 06:32.