Recoger datos de un foro

[Alex265]

Buenas. No sabía exactamente donde ponerlo porque no sé si con PHP se puede hacer o si se puede hacer con otro lenguaje de una forma más sencilla, pero como la página de la que quiero recoger los datos es en PHP, lo pondré aquí mismo. Creo que con PHP se debe poder, pero no tengo ni la menor idea de cómo.


La cosa es que yo me conecto como usuario en un foro. Pongamos que es www.web.com/foro. Dentro he de ingresar mi usuario y mi contraseña para conectarme. Ahora, lo que quiero es diseñar algo que me capture una serie de foros, es decir, que metiendo mi usuario y mi contraseña coja el contenido de x temas del foro y me lo guarde en una base de datos para tenerlos guardados y poderlos mostrar en distinto órden. El problema es que si no soy usuario, no puedo ver el contenido, por eso me interesa que el programa se logee con la cuenta que yo tengo en ese foro.

¿Esto se podría hacer con PHP? ¿Java? No busco que me hagáis un código, simplemente una base sobre qué me tengo que estudiar para conseguir hacerlo.
Muchas gracias, ¡saludos!

[GatorV]

Claro que es posible, lee lo siguiente:

Aportes, Sistemas en PHP -> [APORTE] file_get_contents(), cURL, HTTP_Request

[Alex265]

Pero eso, teniendo yo el usuario y la contraseña, ¿puedo hacer que mi script ingrese mi usuario y mi contraseña del foro para poder acceder él automáticamente? Porque yo mi cuenta la tengo el problema es que sin cuenta no se pueden ver los foros.
Si es así me has salvado, ¡muchas gracias de verdad!

[GatorV]

Lee el aporte, tiene ejemplo para hacer lo que necesitas.

[Alex265]

Nada, de verdad que no lo entiendo. Para practicar he cogido la web de twitter y he intentado sacar el contenido de los últimos tweets de la gente a la que sigo, mostrando prácticamente mi página de twitter en el navegador con cURL. He habilitado cURL y he usado lo siguiente:

Código PHP:

<?php  
        $cookie_file_path = "c:/cookiefile";//o lo que sea
$LOGINURL = "http://www.twitter.com";
$agent = "Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.4) Gecko/20030624 Netscape/7.1 (ax)";
$POSTFIELDS = 'session[username_or_email]=USUARIO&session[password]=CONTRASEÑA';
//donde session[username_or_email] es el name del input del campo usuario 
//y session[password] es el name input del campo contraseña.
 
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$LOGINURL);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2);
curl_setopt($ch, CURLOPT_USERAGENT, $agent);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS,$POSTFIELDS);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file_path);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file_path);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
$page = curl_exec ($ch);
curl_close ($ch);
echo $page;
    ?>
 

Es la primera vez que me manejo con cURL y no sé si el código tal cual está ahí debería servir (según he leido en el tema que me has aportado debería funcionar. Pero me muestra la web principal de twitter como si no me hubiera conectado. Le estoy dando vueltas pero no consigo hacerlo funcionar.

Gracias.

[dual3nigma]

Pero que demonios!!!

Mira si quieres obtener los tweets deberías usar la API de Twitter https://dev.twitter.com/

Recuerda que no puedes tomar datos de sitios nadamas así si no son para tu uso estrictamente personal. En diferente caso lo que querrías hacer es un cliente, los foros por lo general ofrecen feeds, si el dueño del foro no deja ver los temas mas que a usuarios legitimos es por algo. En todo caso podrías comunicarte con el dueño y ver la opción que habría de que realices un cliente con su consentimiento y tal vez te pueda dar algún tipo de acceso. De lo contrario tendrías que ponerte a estudiar primero sobre HTTP, Cookies y sesiones. Para poder manejar el login como lo hace un navegador.

Saludos!

[Greco2]

Iniciado por dual3nigma

Pero que demonios!!!

Mira si quieres obtener los tweets deberías usar la API de Twitter https://dev.twitter.com/

Recuerda que no puedes tomar datos de sitios nadamas así si no son para tu uso estrictamente personal. En diferente caso lo que querrías hacer es un cliente, los foros por lo general ofrecen feeds, si el dueño del foro no deja ver los temas mas que a usuarios legitimos es por algo. En todo caso podrías comunicarte con el dueño y ver la opción que habría de que realices un cliente con su consentimiento y tal vez te pueda dar algún tipo de acceso. De lo contrario tendrías que ponerte a estudiar primero sobre HTTP, Cookies y sesiones. Para poder manejar el login como lo hace un navegador.

Saludos!

El usuario hizo eso con twitter como una forma de ejemplo para probar y explicar lo que quiere conseguir... en el primer post de este hilo detalla exactamente lo que desea hacer... "sacar los post de un foro".

Saludos.

[Alex265]

Iniciado por dual3nigma

Pero que demonios!!!

Mira si quieres obtener los tweets deberías usar la API de Twitter https://dev.twitter.com/

Recuerda que no puedes tomar datos de sitios nadamas así si no son para tu uso estrictamente personal. En diferente caso lo que querrías hacer es un cliente, los foros por lo general ofrecen feeds, si el dueño del foro no deja ver los temas mas que a usuarios legitimos es por algo. En todo caso podrías comunicarte con el dueño y ver la opción que habría de que realices un cliente con su consentimiento y tal vez te pueda dar algún tipo de acceso. De lo contrario tendrías que ponerte a estudiar primero sobre HTTP, Cookies y sesiones. Para poder manejar el login como lo hace un navegador.

Saludos!

Creo que no comprendes exactamente lo que quiero hacer..
Efectivamente, he hecho lo primero con twitter porque me parecía más sencillo y más visual. Además, es para mi uso personal, como ya he dicho arriba, evidentemente no quería compartir mis tweets con todo el mundo porque son míos y es algo privado. De hecho estoy trabajando con localhost, y voy a trabajar solo con localhost para el foro también, no tengo interés en mostrar mi trabajo a nadie porque es algo para uso estrictamente personal. Ahora, vamos a explicar más sobre el foro. El foro en el que lo quiero hcer (si hace falta permiso, tengo datos de acceso al hosting y a todo el código del foro, soy uno de los moderadores y tengo datos de acceso porque soy programador en ese foro) si es por permisos para sacar una serie de post los tengo. Veamos, en ese foro hacemos una serie de ejercicios 'virtuales' como entretenimiento, y la gente sube apuntes que tendríamos que estudiar para luego completar los ejercicios. El foro tiene deshabilitado el sistema de búsqueda para no ralentizarlo de más indexando todo, o por eso me pareció que lo hicieron. Lo que yo busco es simplemente un script que me muestre los apuntes y indexarlos yo mismo, y para eso no es que necesite. Lo quiero mostrar para mí mismo con mis propias opciones, y soy un usuario del foro, así que en eso tampoco hay problema.

Ahora, el foro es privado y si no me logueo no puedo accesar a los datos. Me puedo loguear manualmente con mi navegador como llevo haciendo estos años atrás, pero de qué me sirve si lo que pretendo es conseguir que lo haga el script. Ahora, lo único que quiero saber y estoy probando es que el script se loguee, nada más. Si yo tengo consentimiento para hacerlo, mi script debería tener consentimiento también por todo lo que he explicado arriba, ¿no? Porque en este caso, yo mismo soy mi script, me está mostrando las cosas con las que tengo acceso con mi usuario a mí. No hay ningún problema en eso.

Espero haber aclarado las dudas, saludos y gracias por la ayuda.

[GatorV]

El problema con el script que planteas (el de Twitter) es que han cambiado su forma de hacer login, pero en teoría funciona igual con cualquier sitio que necesite usuario + contraseña, la idea es guardar las cookies y luego navegar al sitio donde se quiera y transmitir esas cookies (con el id de sesión) para que el foro te reconozca como logeado.

Saludos.