Extraer contenido del post de un blog

tonchii · #1 (**permalink**) 05/04/2010, 18:16

Hola amigos, tengo realizado un script que me extrae el contenido de los posts de algunos blogs desde sus RSS, pero la cuestion que en un RSS no aparece el post completo y eso es lo que necesito.
Los blogs no tienen todos la misma esctructura, por lo que usar expresiones regulares se me complica mucho para crear alguna que me funcione en todos los blogs :S.

Alguien tiene alguna alternativa?? O idea de como armar esa expresion regular???

Estaria muy agradecido. Muchas gracias

abimaelrc · #2 (**permalink**) 05/04/2010, 18:23

¿Por qué deseas armar una expresión regular, si se supone que un RSS esté estructurado con toda la información necesaria y dividida adecuadamente para poder leer sin complicaciones? Mira este aporte para que entiendas como leer un RSS.

tonchii · #3 (**permalink**) 05/04/2010, 20:35

Gracias por la informacion

, pero como habia ducho no siempre los rss tienen el articulo completo asi que queria sbaer si hay alguna forma de extraer esa informacion directamente de articulo. Se entiende? :P

abimaelrc · #4 (**permalink**) 05/04/2010, 20:54

Bueno el articulo lo puedes extraer verificando la dirección completa del articulo y usas cURL o algún socket para tomar la información. Luego con el mismo DOM o con Expresiones Regulares puedes tomar la información.

tonchii · #5 (**permalink**) 06/04/2010, 13:27

Muchas gracias, algun manual q me quisieras recomendar??? :P

abimaelrc · #6 (**permalink**) 06/04/2010, 13:44

En el aporte que te indique puedes verlo

tonchii · #7 (**permalink**) 06/04/2010, 17:28

Esta muy completo

. Y es el metodo que usaba, pero una duda. ¿Si no se pone todo el articulo de un blog en el rss, es decir, se pone solo el comienzo, cuando lo extraiga lo voy a tener incompleto?Por que ese es el problema que creo q tengo :S

abimaelrc · #8 (**permalink**) 06/04/2010, 19:14

Pero debe tener la información del enlace hacia la noticia, como quiera puedes obtener la información usando cURL o algún socket.

tonchii · #9 (**permalink**) 07/04/2010, 15:50

Claro, pero no creo que pueda usar un patron (que creo que es lo que se usa), para extraer la informacion de los distintos blogs. Por que algunos usan Blogguer, Wordpress y no siguen una estructura especifica. Entonces es imposible o se puede haer, porque eso no lo entiendo si es que se puede hacer :S

maturano · #10 (**permalink**) 07/04/2010, 15:59

Cita:

Iniciado por tonchii

Claro, pero no creo que pueda usar un patron (que creo que es lo que se usa), para extraer la informacion de los distintos blogs. Por que algunos usan Blogguer, Wordpress y no siguen una estructura especifica. Entonces es imposible o se puede haer, porque eso no lo entiendo si es que se puede hacer :S

¿¿¿???

Les un RSS, dentro del mismo RSS tiene una URL al artículo completo (así es como los lectores te dan un enlace para ir a "la noticia original"), tomas esa URL y consultas su contenido; simple. Ya te dejaron un enlace de cómo hacer eso último.

En principio, cuidado con la legalidad de hacer eso

....

tonchii · #11 (**permalink**) 07/04/2010, 16:09

Cita:

Iniciado por maturano

¿¿¿???

Les un RSS, dentro del mismo RSS tiene una URL al artículo completo (así es como los lectores te dan un enlace para ir a "la noticia original"), tomas esa URL y consultas su contenido; simple. Ya te dejaron un enlace de cómo hacer eso último.

En principio, cuidado con la legalidad de hacer eso

....

Por supuesto, pero eso me daria todo el contenido de la pagina, desde el sidebar hasta el foter, y yo solo quiero el texot del articulo :S Ese es el problema que me surge. Porque no puedo crear una sentencia que haga lo mismo con todos los blogs si tienen estructuras diferentes. Se entiende?

GatorV · #12 (**permalink**) 07/04/2010, 17:05

Pues eso es lo que tienes que programar, no hay una función "magica" que haga todo ese proceso, debes de programar por cada url como esta la estructura de la pagina y que es lo que quieres extraer.

tonchii · #13 (**permalink**) 07/04/2010, 17:07

Si ya se que no existe una funcion magica :P jejej. Pero ese es el tema, los blogs son cientos :S. creo que me tendre que conformar con el extracto que hay en el RSS. Pero he visto sitios como teliad que lo pueden hacer :S

GatorV · #14 (**permalink**) 07/04/2010, 17:08

Por eso mismo, si lo quieres duplicar tienes que adaptar tu pagina a que pueda leer todos los blogs, es parte de tu tarea de programador el hacer eso.

abimaelrc · #15 (**permalink**) 07/04/2010, 17:12

Toda web tiene una estructura básica.

Código HTML:

Ver original<html>
<head>
</head>
<body>
</body>
</html>

En tu caso podrias tomar la información que haya en el body. También puedes comparar la información que está en el RSS con la información que hayas tomado de la página y crear algún código que continúe hasta el final de la noticia o hasta el final de la página. Solo es cuestión de imaginación.

tonchii · #16 (**permalink**) 07/04/2010, 17:40

Cita:

Iniciado por abimaelrc

Toda web tiene una estructura básica.

Código HTML:

Ver original<html>
<head>
</head>
<body>
</body>
</html>

En tu caso podrias tomar la información que haya en el body. También puedes comparar la información que está en el RSS con la información que hayas tomado de la página y crear algún código que continúe hasta el final de la noticia o hasta el final de la página. Solo es cuestión de imaginación.

Genial, habia pensado en algo parecido erpo valia la pena preguntar XD. Muchas gracias. Me voy a poner a crear el codigo