¿Como puedo extraer informacion de un sitio?

esaubl · #1 (**permalink**) 12/05/2003, 17:03

Se como extraer informacion de una pagina abriendo archivos pero como entro a esa pagina si para entrar me tengo que logear antes,

es decir como hago un script que solito se logee y despues me abra el enlace a la pagina para despues extraer la informacion

es mi primer post

Me voy a explicar mas

Hago la pagina para logearme con un formulario este me lleva a la pagina en la cual quiero extraer la informacion

la duda es el formulario me lleva a la pagina ya logeado ahora de que manera atrapo el codigo con un script

Cluster · #2 (**permalink**) 12/05/2003, 20:44

Para entrar a esa "página" autentificado .. que típo de autentificación usa? HTTP (esas ventanitas de tu S.O. que te pide user/pass , formulario HTML ...?¿

Por ejemplo .. si la página usa autentificación HTTP se haría algo así:

http://usuario:contraseña@www.tal.tal/dondesea/pagina.tal

Ese es el link que deberias usar en tus funciones fopen() o las que uses para "abrir" la página ...

Si usa un formaulario HTML .. edita su código . y fijate en el metodo que use de envio GET o POST y el nombre de las variabels que use (tanto del usaurio/passwor como de alguna mas tipo hidden que requiera ..). Con esas variables . .formas tu URL con tus datos de usuario/contraseña (si requiere método GET) .. si es POST se complica la cosa pero igualmente se pude hacer simulando una conexión por sockets() a esa página ...

Un saludo,

esaubl · #3 (**permalink**) 13/05/2003, 08:54

exactamente lo que quiero es atrapar el codigo de la pagina que manda a llamar el formulario por metodo post

ya edite el formulario esa parte ya quedo solo me falta capturar la pagina que manda a traer

Cluster o quien vea me podria decir como usar los sockets si me pueden mandar un ejemplo

porfavor gracias

Cluster · #4 (**permalink**) 13/05/2003, 10:39

Bueno .. si quieres hacer todo ese proceso .. tendras que "simular" un "servidor HTTP" via PHP para hacer tus peticiones y leer lo que te entrege todo bajo PHP...

Eso es tema completo del protolo del HTTP (en www.rfc.net lo puedes ver) ..

Un ejemplo completo
http://www.faqts.com/knowledge_base/...d/12039/fid/51

Ahí veras que se envian datos via el protocolo HTTP al servidor/puerto/página -> variables que indiques y se lee lo que devuelve al ejecutarla ...

Sólo te quedaría filtrar el resultado que obtienes para quedarte con lo que te interese ...

Un saludo,

esaubl · #5 (**permalink**) 13/05/2003, 14:05

Probe y me marca un error a ver si me pueden ayudar

cluster el ejemplo lque me diste en
http://www.faqts.com/knowledge_base/...d/12039/fid/51

ya lo probe y me marca un error mira

mi codigo de mi script es este

que en si es la funcion del enlace

Código PHP:

  <?

function sendToHost($host,$method,$path,$data,$useragent=0)

{

    // Supply a default method of GET if the one passed was empty

    if (empty($method))

        $method = 'GET';

    $method = strtoupper($method);

    $fp = fsockopen($host,80);

    if ($method == 'GET')

        $path .= '?' . $data;

    fputs($fp, "$method $path HTTP/1.1\r\n");

    fputs($fp, "Host: $host\r\n");

    fputs($fp, "Content-type: application/x-www-form-

urlencoded\r\n");

    fputs($fp, "Content-length: " . strlen($data) . "\r\n");

    if ($useragent)

        fputs($fp, "User-Agent: MSIE\r\n");

    fputs($fp, "Connection: close\r\n\r\n");

    if ($method == 'POST')

        fputs($fp, $data);

 
    while (!feof($fp))

        $buf .= fgets($fp,128);

    fclose($fp);

    

    return $buf;

}

?>

<html>

<head>

<title>prueba</title>

</head>

<body>

<?

//$buffer=sendToHost('www.google.com.mx','get','/search','q=pillo');

$buffer=sendToHost('www.example.com','post','/some_script.cgi','param=First+Param&s

 
econd=Second+param');

echo $buffer;

?>

</body>

</html>

------------------------------------

cuando ejecuto el script me sale lo sig:

--------------------------------------------
HTTP/1.1 400 Bad Request Date: Tue, 13 May 2003 20:20:09 GMT Server: Apache/1.3.27 (Unix) (Red-Hat/Linux) Connection: close Transfer-Encoding: chunked Content-Type: text/html; charset=iso-8859-1 16e
Bad Request
Your browser sent a request that this server could not understand.

Request header field is missing colon separator.

urlencoded

Apache/1.3.27 Server at www.example.com Port 80
0

-----------------------------------------
Yo pienso que el error esta en la linea:
---------------------------------

Código PHP:

      fputs($fp, "Content-type: application/x-www-form-

urlencoded\r\n");

ya probe con el ejemplo de google y tambien me marca request ilegal

que sera

josemi · #6 (**permalink**) 13/05/2003, 14:27

Hola,

Creo que es necesario que pases POST en mayusculas. Si no me equivoco == es case-sensitive.

Saludos.

Cluster · #7 (**permalink**) 13/05/2003, 16:05

Por mi parte mas del tema no sé ... Lo que es PHP ya hace su trabajo (abrir el socket/enviarle dtos y leer la respuesta) .. Todo lo demas es cosa del protocolo HTTP (en www.rfc.net ) lo puedes ver ..

Pruena con estas cabeceras:

Código PHP:

  <?

$host = "www.google.com";

$pagina= "/search";

$data = urlencode("q=php");

 
// abrir el socket .. (en este caso al puerto 80 ..)

$fp = fsockopen ($host, 80, $errno, $errstr, 30);

 
if (!$fp) {

   echo "$errstr ($errno)<br>\n";

} else {

   //concectar y enviar datos

   fputs ($fp, "GET $pagina HTTP/1.0\r\n");

   fputs($fp, "Host: $host\r\n");

   fputs($fp, "Accept-Language: es\r\n");

   //fputs($fp, "Accept-Encoding: gzip, deflate\r\n");

   fputs($fp, "Accept: */*\r\n");

   fputs($fp, "User-Agent: Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)\r\n");

   fputs($fp, "Connection: Keep-Alive\r\n");

   fputs($fp, "Content-type: application/x-www-form-urlencoded\r\n");

   fputs($fp, "Content-length: " . strlen($data) . "\r\n\r\n");

   fputs($fp, $data."\n");

   

   // leer lo que entregue la conexión

   while (!feof($fp)) {

       echo fgets ($fp,128);

   }

   fclose ($fp);

 
}

 
?>

Por lo menos conecta con la página que indiques .. Mas detalles o problemas con eso deberías de leer acerca del protocolo HTTP ( yo se un poco de "odidas" pero no más ..)

Un saludo,

josemi · #8 (**permalink**) 15/05/2003, 02:58

Hola,

Tambien podiras usar la extension cURL (si la tienes instalada) http://www.php.net/manual/es/ref.curl.php . O el paquete de PEAR HTTP_request http://pear.php.net/package-info.php?pacid=33 . O la clase que comenta Luis Argerich en su columna en www.zonaphp.com , exactamente Snoopy en http://zonaphp.com/index.php?modulo=...id=12&pagina=5 .

Espero haber sido de ayuda.

PD: Por supuesto, esto es si necesitas hacerlo, no si quieres aprender a hacerlo.