[SOLUCIONADO] Extracción de información de web que ejecuta script antes de mostrarse

[Kritik]

De la página:

http://lema.rae.es/drae/?val=perro

Quiero extraer el siguiente código:

Código:

<div>
	<a name="55351"></a>
	<p class="p">
		<span class="f">
			<b>perro</b>
		</span>
		<span class="f">
			<b>
				<sup>1</sup>
			</b>
		</span>
		<span class="f">
			<b>, rra</b>
		</span>
		<span class="f">
			<b>.</b>
		</span>
		</p>
		<p></p>
		<p></p>
		<p class="q">
			<a name="1_1"></a>
			<span class="d">
				<b> 1.</b>
			</span>
			<span title="adjetivo" class="d">adj.</span>
			<span class="d">
				<span title="coloquial" class="d">coloq.</span>
			</span>
			<span class="b"> Muy malo, indigno.</span>
		</p>
		<p class="q">
			<a name="1_2"></a>
		<span class="d">
			<b> 2.</b>
		</span>
		<span class="g">
			<span title="adjetivo" class="g">adj.</span>
		</span>
		<span class="d">
			<i>
				<span title="El Salvador" class="d">El Salv.</span>
			</i>
		</span>
		<span class="b"> Dicho de una persona: Enojada, de mal genio.</span>
	</p>
</div>

También quiero extraer más texto de la misma página. Ya que esto se refiere a 2 resultados de búsqueda. El código anterior se refiere al contenido del primer resultado. Y quiero poder extraer los 2 resultados. Lo único identificativo de cada resultado es que justo al acabar cada resultado, termina con la etiqueta </div> y justo después viene el siguiente código en cada uno de los resultados:

Código:

<p class="o">Real Academia Española © Todos los derechos reservados</p>

Y no se como hacerlo. A alguien se le ocurre alguna manera sencilla?

PD: El método propuesto no puede ser exclusivo para esta URL, tiene que valer para cualquier valor puesto después de "http://lema.rae.es/drae/?val="

[Profesor_Falken]

Buenas,

Lo mas rapido seria extraerlo directamente mediante expresiones regulares:
http://alvinalexander.com/blog/post/...-matcher-group

Precisamente lo hemos discutido aqui en el foro hace unos dias:
http://www.forosdelweb.com/f45/conse...s-web-1122898/

Si quieres hacer cosas mas avanzadas siempre puedes usar jSoup:
http://jsoup.org/


Si tampoco sabes como recuperar el codigo html de la pagina en java (no esta claro):
http://picarcodigo.blogspot.fr/2013/...-con-java.html


Un saludo

[Kritik]

Llevo unos días investigando el tema. La cosa es que he comprobado que cuando en el buscador pongo la URL que quiero, antes de enseñarme el resultado que yo busco se ejecuta un script de JavaScript. Con lo que si copio directamente el código HTML de la URL... lo que obtengo es una página con un código JavaScript y un mensaje diciendo que mi navegador permita JavaScript. No se como solucionar esto con java.

[Xerelo]

Tercer enlace del Profesor_Falken

O llamar directamente a http://buscon.rae.es/drae/srv/search?val=perro

[Kritik]

En esa dirección que apuntas pasa exactamente lo mismo. Primero se ejecuta un JavaScript y después se muestra el resultado. Este resultado no está en la página inicial y por lo tanto su código HTML original no contiene la información que busco.

He estado viendo a fondo la librería Jsoup y según he visto en otros foros tampoco sirve para recoger información que salga después de ejecutar ningún JavaScript. Si me equivoco decídmelo.

Hace unos días vi por internet otra librería para scraping que sí ejecutaba javascrits, pero tonto de mí no me apunté la página. Alguno me puede dar ideas?

Por último también he estado viendo que existe la posibilidad de usar navegadores dentro de java. Si no hay más remedio me pondría a ver esta posibilidad. Pero me gustaría poder evitarla por todos los recursos de memoria y otros que estoy seguro que dicha opción requeriría.

Edito:
Según Wikipedia:
HtmlUnit es un navegador web sin interfaz de usuario escrito en Java.

Al no usar interfaz de usuario quizá esto no requiera tantos recursos, y pueda ejecutar los scripts de JavaScript de la web que menciono arriba. Vosotros qué pensáis?

[Profesor_Falken]

Buenas,

En ese caso tendras que utilizar efectivamente un browser que se ejecute en segundo plano y pueda interpretar el javascript.

Las opciones mas logicas serian Selenium y HTMLUnit.
http://www.seleniumhq.org/
http://htmlunit.sourceforge.net/

Selenium se basa en los drivers de rendering de los propios navegadores (webkit y gecko).

HTMLUnit es una implementacion de un navegador hecha desde cero en java por lo que no depende de drivers externos. Es mas rapida, pero su implementacion e interpretacion de javascript puede no ser tan precisa y potente como la que hacen los navegadores.

Yo he utilizado mucho Selenium y funciona bastante bien. HTMLUnit, ni idea...


Un saludo

[Kritik]

Al final he utilizado HTMLUnit y me ha resultado super-facil.

Muchas gracias.

[Profesor_Falken]

he utilizado HTMLUnit y me ha resultado super-facil.

Genial. Podrías compartir entonces la solución que has hecho con HTMLUnit? De esa forma si alguien tiene un problema similar sabrá como solucionarlo.

Además, como comentaba, yo no lo he utilizado nunca y tengo curiosidad

Un saludo

[Kritik]

Después de incluir en el proyecto todos los archivos .jar de HTMLUnit, mi código es el siguiente:

Código:

package PruebasVarias;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class AnalizadorHTML {
	public static void main(String[] args) throws Exception {
	// La siguiente línea desabilita los warnings de htmlunit
	java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(java.util.logging.Level.OFF);

	// Escoje versión de explorador. En algunas webs es necesario:
	WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER_11);
	// Espera un máximo de 50.000 milésimas de segundo a que se ejecute todo el JavaScript:
	webClient.waitForBackgroundJavaScript(50000);
	// Indica la web y la captura después del tiempo de los scripts:
	HtmlPage page = webClient.getPage("http://buscon.rae.es/drae/srv/search?val=perro");
	// Imprime el contenido de la etiqueta <body> de la web:
	System.out.println(page.getBody().getTextContent());
	}
}