[SOLUCIONADO] ¿Cómo extraer enlaces de una URL?

tec01 · #1 (**permalink**) 14/06/2016, 10:41

Buenas tardes, estaba probando este código y no logro hacer que funcione:
Use el ejemplo de:
[URL="http://chuwiki.chuidiang.org/index.php?title=Extraer_enlaces_de_una_URL_con_Jav a"]http://chuwiki.chuidiang.org/index.php?title=Extraer_enlaces_de_una_URL_con_Jav a[/URL]

Código:

public class ExtractLinksFromUrl {

   public static void main(String[] args) throws Exception {
	   
	      String content = extractContent("https://www.taringa.net/post/humor/19461893/Imagenes-divertidas-para-acortar-la-semana.html");
	      showLinks(content);
	
	}

	   
 private static String extractContent(String urlString)throws MalformedURLException, IOException {
      URL url = new URL(urlString);
      URLConnection urlConnection = url.openConnection();
      InputStream is = urlConnection.getInputStream();
      BufferedReader br = new BufferedReader(new InputStreamReader(is));
      String content = "";
      String linea = br.readLine();
      while((linea = br.readLine())!=null){
    	  content+=linea;
          linea = br.readLine();	
         }
      br.close();
      return content;
   }

   private static void showLinks(String content) {
      Pattern pattern = Pattern.compile("(?i)HREF\\s*=\\s*\"(.*?)\"");
      Matcher matcher = pattern.matcher(content);
      while (matcher.find()) {
         System.out.println(matcher.group(1));
      }

   }

Con algunas páginas funciona y con otras no, en este caso no da errores pero tampoco muestra nada.

chuidiang · #2 (**permalink**) 14/06/2016, 12:10

Hola:

¿Una página concreta en la que no funcione?

Fijate en este trozo

Código Java:

Ver originalPattern.compile("(?i)HREF\\s*=\\s*\"(.*?)\"");

es la expresión regular para buscar enlaces, que es href (en mayúsculas o minúsculas) un igual, unas comillas dobles, el enlace y cierre de comillas dobles. La expresión es solo a modo de ejemplo sencillo, si el enlace no cumple ese patrón (por ejemplo, usa comillas sencillas), no lo encontrará.

Se bueno.

tec01 · #3 (**permalink**) 14/06/2016, 14:52

De la página que deje por defecto en el código, me lee esto:

Código:

<head><title>302 Found</title></head><body bgcolor="white"><center><h1>302 Found</h1></center></body></html>

Cuando voi a ver el código fuente de la página, todo se ve normal.
Supongo que el problema está al leer la página no en la expresión regular.

Malenko · #4 (**permalink**) 14/06/2016, 15:03

Me da que tienen puesto una redirección a nivel de servidor. Dale un vistazo a este link para saber de que se trata. Seguramente si pones un sniffer http en tu pc y visitas la página desde un navegador verás como se hace la redirección 302.

tec01 · #5 (**permalink**) 27/06/2016, 07:39

Solucionado (a medias xd).
Con algunas web funciona con otras no, a algunas que no funcionaba (por error 403) le agregué un "user agent header" y funcionó.
Fuente:

http://stackoverflow.com/questions/13670692/403-forbidden-with-java-but-not-web-browser

chuidiang · #6 (**permalink**) 28/06/2016, 00:47

Hola:

No sé si el código lo has arreglado o no, pero esto que tienes

Código Java:

Ver originalwhile((linea = br.readLine())!=null){
          content+=linea;
          linea = br.readLine();    
         }

lee dos lineas (una en el while readLine() y otra dentro del bucle, pero solo trata una. Y adicionalmente, la linea que tienes delante del bucle

Código Java:

Ver originalString linea = br.readLine();

lee una primera línea y la tira.

Según como esté hecha la web (si tiene una o varias lineas) y si los enlaces caen o no en las lineas que tratas, puede saltarte o mostrarte enlaces.

Se bueno.