Problema al obtener Html de una URL

[LeandroA]

Hola quiero obtener el contenido de una url, ya he probado algunos metodos y el que más cercano está, es con curl_init(), me devuelve el html correctamente, pero me surge un problema con algunas url, el problema mayor es que mi servidor no soporta la opcion CURLOPT_FOLLOWLOCATION (que seria que si hay una redirección este la siga) (requiere open_basedir ="" y safe_mode = Off) no quisiera modificar esas opciones.

Entonces lo que hice fue curl_getinfo($rch, CURLINFO_HTTP_CODE); y si es = 301 o 302 obtener el Location y consultar esa url, pero esta no devuelve el contenido real, sospecho que me esta faltando asignar alguna cookie, pero es hay donde me travo, si bien se como obtenerla no se como asignarla.

este es el código básico (sin la redención)

Código PHP:

function ver($url)
{
 
    $ch = curl_init();
 
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202 Safari/535.1");
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_NOBODY, false);
    curl_setopt($ch, CURLOPT_FORBID_REUSE, false); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
    curl_setopt($ch, CURLOPT_URL, $url); 
    //curl_setopt($ch, CURLOPT_COOKIESESSION, true);
    //curl_setopt($ch,  CURLOPT_COOKIEJAR, "listin");
    //curl_setopt($ch,  CURLOPT_COOKIEFILE, "listin");
 
    $tmp = curl_exec($ch);
 
    curl_close ($ch);
    return $tmp;
}
 

para no dar muchas vueltas alguien sabe como podria obtener el contenido de esta url?

Código:

http://www.taringa.net/posts/reviews/12759660/Como-ver-Cuevana-en-HD-_Facil_.html#pagina-3

como ven es la página 3 de los comentarios.


Saludos.

[Triby]

Hace tiempo publique un par de funciones para poder seguir redireccionamientos con cURL cuando por configuracion no se puede (open_basedir y/o safe mode): http://www.forosdelweb.com/f18/aport...bit-ly-808160/

Por lo demas, yo creo que si tendras que darle algunas vueltas, si te atoras con algo (o te mareas), nos muestras tu codigo y trataremos de ayudarte.

[LeandroA]

Muchas gracias por su respuesta Triby, testie su código pero sigue sin funcionar, de echo no me esta arrojando ningún resultado.
Esto es lo que estoy haciendo.

Código PHP:

<?php
 
//--------------------------------------
$url = "http://www.taringa.net/posts/reviews/12759660/Como-ver-Cuevana-en-HD-_Facil_.html#pagina-3";
 
$options[CURLOPT_URL] = $url;
$options[CURLOPT_USERAGENT] = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202 Safari/535.1";
$options[CURLOPT_FOLLOWLOCATION] = true;
$options[CURLOPT_RETURNTRANSFER] = true;
$data = sm_curl($options);
 
echo $data['response'];
//--------------------------------------
 
function sm_curl($options){
    // Hay que seguir redireccionamientos?
    $follow = (isset($options[CURLOPT_FOLLOWLOCATION])) ? $options[CURLOPT_FOLLOWLOCATION] : false;
 
    // Instanciamos cURL
    $go = curl_init();
    $response = array();
    if(ini_get('open_basedir') != '' || ini_get('safe_mode' == 'On') && $follow) {
        // Aqui entramos solo si hay que seguir redireccionamientos y
        // open_basedir o safe_mode estan activos
 
        // Eliminamos la opcion CURL para seguir redireccionamientos
        unset($options[CURLOPT_FOLLOWLOCATION]);
 
        // Establecemos las opciones
        curl_setopt_array($go, $options);
 
        // Ejecutamos y seguimos redireccionamientos
        $response = curl_redir_exec($go);
    } else {
        curl_setopt_array($go, $options);
        // Ejecutar
        $response['response'] = curl_exec($go);
        $response['headers'] = curl_getinfo($go);
 
        // Obtener errores
        $response['errorNumber'] = curl_errno($go);
        $response['errorMessage'] = curl_error($go);
    }
    curl_close($go);
    return $response;
}
 
// Seguir redireccionamientos con open_basedir o safe_mode = On
function curl_redir_exec($ch) {
    static $curl_loops = 0;
    static $curl_max_loops = 20;
    if ($curl_loops++>= $curl_max_loops) {
        $curl_loops = 0;
        return array('response' => '', 'headers' => '', 'errorNumber' => '47', 'errorMessage' => 'Too many redirects');
    }
    curl_setopt($ch, CURLOPT_HEADER, true);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $data = curl_exec($ch);
    $data = str_replace("\n\r", "\n", $data);
    list($header, $data) = explode("\n\n", $data);
    $headers = curl_getinfo($ch);
    $http_code = $headers['http_code'];
    if ($http_code == 301 || $http_code == 302) {
        $matches = array();
        preg_match('/Location:(.*?)\n/', $header, $matches);
        $url = @parse_url(trim(array_pop($matches)));
        if (!$url) {
            //couldn't process the url to redirect to
            $curl_loops = 0;
            return array('response' => '', 'headers' => '', 'errorNumber' => 3, 'errorMessage' => 'The URL was not properly formatted (redirect).');
        }
        $last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
        if (!$url['scheme'])
            $url['scheme'] = $last_url['scheme'];
        if (!$url['host'])
            $url['host'] = $last_url['host'];
        if (!$url['path'])
            $url['path'] = $last_url['path'];
        $new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . ($url['query']?'?'.$url['query']:'');
        curl_setopt($ch, CURLOPT_URL, $new_url);
        return curl_redir_exec($ch);
    } else {
        $curl_loops=0;
        return array(
            'response' => $data,
            'headers' => $headers,
            'errorNumber' => curl_errno($ch),
            'errorMessage' => curl_error($ch),
        );
    }
}
 
?>
 

Espero pueda ayudarme, desde ya muchas gracias.

Saludos.

[Triby]

Que obtienes si usas var_dump($data); ?

[LeandroA]

Hola, bien parece que no funcionaba porque es dinámico y utiliza javascript

antes que nada modifique algo en tu funcion

esto

Código PHP:

$data = str_replace("\n\r", "\n", $data);
    list($header, $data) = explode("\n\n", $data);
 

por esto

Código PHP:

$pos =  strpos($data,"\n\r");
    $header = substr($data,0, $pos);
    $data = substr($data,$pos + 3 );
 

ya que sino se corta el html


bien la cuestión es que mostraba el html de la pagina principal al post, asi que agregue #pagina-3 a la url de mi php

http://www.misitio.com/test/test2.php#pagina-3

y salto un script que muestra un error ya que no reconoce el servidor, lo que da nota que se escribe utilizando javascript.

Bien eso aclaro mi duda, lo que no se como resolveré mas adelante jejje.

Gracias por todo.

[Triby]

Yo me pregunto porque batallas buscando obtener los comentarios por cURL cuando hay un feed disponible y posiblemente te pueda dar mejores resultados:

<link rel="alternate" type="application/atom+xml" title="Comentarios del post:Cómo ver Cuevana en HD [Fácil]" href="/rss/12759660/comentarios/" />