Parsear Curl-PHP-MySQL

[jonaysti]

Hola a todos! Necesito una ayudita.

Veréis necesito pasar los datos automáticamente cada 1 hora de esta página web:

http://www.weatherlink.com/user/agustinrh/index.php?view=summary&headers=0

a una base de datos MySQL mediante el uso de un script en PHP. Solamante necesito coger los datos de la columna Current.

He estado buscando información y parece que la mejor opción es parsear con Curl y hacer uso de html dom.

Mi problema es que soy un iniciado de la programación PHP y no tengo mucha idea de como hacerlo.

Viendo el código fuente de la página que puse anteriormente, no sé muy bien como es esto del parseo y que código tengo que poner exactamente para coger los datos de la columna current.

Alguna ayudita?

Gracias de antemano.

[maycolalvarez]

recuerda que con Curl lo que obtienes en realidad es el HTML de dicha página, y con DomDocument (simpleXml podria servir) recorres la estructura de objetos de la página, con funciones similares a JS.

aunque lo mejor es implementar un web service tipo JSON o XML, verifica si dicha pagina lo tiene

[jonaysti]

Buenas, ya mas o menos tengo una posible solución en la cabeza. He seguido este video de aquí: http://www.youtube.com/watch?v=iZ-HVvoFFIU&list=PLE058CAAADCD16AF2&index=11

Creo que con la funcion preg_match_all puedo llegar a coger los elementos que necesito y después ir guardandolos.

El problema es que siguiendo el video que puse antes, copié básicamente todo el código para probarlo y me sale el siguiente error:

Undefined offset: 5 in C:\wamp\www\curlprueba.php on line 35

No entiendo que si teniendo copiado lo mismo que en el video me suelte dicho error, ¿Alguna solución?

[andresdzphp]

No no no esa es una pésima idea, tienes 2 opciones:

1. Revisa si tienen un webservice y utiliza SimpleXML o json_decode. Según el formato.
2. Si no tienen utiliza las clases DOM para sacar ese valor.

[andresdzphp]

Te hice este ejemplo, para el que le pueda servir. Ya está en vos si lo mejoras o no:

Código PHP:

<?php
 
$doc = new DOMDocument();
libxml_use_internal_errors(true);
$doc->loadHTMLFile('http://www.weatherlink.com/user/agustinrh/index.php?view=summary&headers=0');
$xpath = new DOMXPath($doc);
$rows = $xpath->query('//table/tr[position()>7 and position()<31]');
 
foreach ($rows as $row) {
    $td = $row->getElementsByTagName('td');
    if ($td->length == 6) {
        echo $td->item(0)->nodeValue . ' = ' . $td->item(1)->nodeValue . '<br />';
    }
}
 

Outside Temp = 24.8 C
Outside Humidity = 47%
Inside Temp = 24.4 C
Inside Humidity = 44%
Heat Index = 24.4 C
Wind Chill = 25.0 C
Dew Point = 12.8 C
Barometer = n/a
Bar Trend = n/a
Wind Speed = Calm
Wind Direction = SE 139°
Wind = 2 Minute
Average Wind Speed = Calm

[jonaysti]

Muchas gracias Andrés, me será de gran ayuda. La página no tiene webservice ni json a si que tendré que utilizar DOM. Me voy a poner a ello. Gracias de nuevo.

[jonaysti]

Andres me podrías decir que es lo que hace exactamente esta línea de código?

$rows = $xpath->query('//table/tr[position()>7 and position()<31]');

No me queda muy claro, no se si ahí esta el error de que no muestre algunas líneas como "12 Hour Forecast", "Rain" y "Last Hour Rain".

[andresdzphp]

Eso significa que capture el tr 8 al tr 30, lo que pasa es que al principio hay 7 tr sin información y al final hay otros tr innecesarios, para coger desde Outside Temp hasta Last Hour Rain, debe ir del tr 8 hasta el tr 36, algo así:

Código PHP:

<?php
 
$doc = new DOMDocument();
libxml_use_internal_errors(true);
$doc->loadHTMLFile('http://www.weatherlink.com/user/agustinrh/index.php?view=summary&headers=0');
$xpath = new DOMXPath($doc);
//cogemos la información del tr 8 al tr 36 de la tabla
$rows = $xpath->query('//table/tr[position()>7 and position()<37]');
 
foreach ($rows as $row) {
//sacamos los td de cada tr
    $td = $row->getElementsByTagName('td');
//si el row no tiene 6 td no nos sirve
    if ($td->length == 6) {
        echo $td->item(0)->nodeValue . ' = ' . $td->item(1)->nodeValue . '<br />';
    }
}
 

[jonaysti]

Perdona que siga dando un poco el coñazo. Pero necesito otra pequeña ayuda.

Me podrían decir donde puedo mirar información de cómo hacer un contador para que me vaya almacenando los datos cada 1 hora en una base de datos que ya tengo creada. Con el código anteriormente puesto lo que necesito es coger el segundo item de cada tr ($td->item(1)->nodeValue) e ir metiendolos en una base de datos MySQL.

El tema es que yo ya tengo creada mi base de datos, cada columna con un nombre (Temperatura Interior, Humedad, Velocidad del viento... etc) Y lo que quiero es que cada hora se me guarden todos los datos debajo de cada columna.

Sabéis si hay alguna guia que me pueda ayudar a hacer este tipo de contador?

Gracias de antemano.

[jonaysti]

No pasa nada. Ya lo tengo echo. Ahora solo me falta que pueda hacer ese script automáticamente a cada hora en punto. ¿Alguna ayudita?

[raposu]

Me parece muy interesante

Como se pueden extraer los datos de forma inversa?....

[Triby]

De forma inversa?... creo que necesitas ser muuuuucho más específico con tu consulta.

[raposu]

Disculpas

Me explico mejor:


yo obtengo por ejemplo estos datos:

13.1, 13.2, 13.3, 13.3, 13.3, 13.3, 13.3, 13.4, 13.4, 13.3, 13.3, 13.3, 13.4, 13.4, 13.4, 13.4, 13.4, 13.4, 13.4, 13.3, 13.2, 13.3, 13.4

Bien, los necesito de forma inversa, es decir 13.4, 13.3, 13.2, 13.3, 13.4, 13.4,......, 13.2,13.1

Hice esta prueba:

Código HTML:

 $td = $row->getElementsByTagName('td');


    if ($td->length == 19) {
    	
                $invertir=strrev($td->item(14)->nodeValue . ',');

    echo $invertir;

    }
}

pero jeje me da este resultado:

,3.31 ,3.31 ,3.31 ,4.31 ,4.31 ,3.31 ,3.31 ,3.31 ,4.31 ,4.31 ,4.31 ,4.31 ,4.31 ,4.31 ,4.31 ,3.31 ,3.31 ,3.31 ,4.31 ,4.31 ,3.31 ,4.31

nota: (esta serie no corresponde con la anterior por estar tomada en distinto momento.)
Gracias

[Triby]

Con explode() puedes separar esos valores por coma, se guardan en un arreglo, lo inviertes con array_reverse() y lo vuelves a colocar en una cadena con implode()

Si no sabes cómo usar alguna función, consulta el manual: php.net/nombre_de_funcion

[raposu]

Iniciado por Triby

Con [URL="http://www.php.net/explode"]explode()[/URL] puedes separar esos valores por coma, se guardan en un arreglo, lo inviertes con array_reverse() y lo vuelves a colocar en una cadena con implode()

Si no sabes cómo usar alguna función, consulta el manual: php.net/nombre_de_funcion

Vamos a probar.... php me queda un poco justo, pero al menos lo voy a intentar.

[raposu]

Seguro que algo estoy haciendo mal, me funciona pero me devuelve la cadena ordenada.

Código HTML:

$td = $row->getElementsByTagName('td');

    if ($td->length == 19) {
    	
$ordenado=($td->item(14)->nodeValue . ',');
$ordenado = explode(" ",$ordenado);
$invertido = array_reverse($ordenado);
$invertido = implode(" ",$invertido);
echo $invertido;

    }
}

13.3, 13.3, 13.4, 13.4, 13.3, 13.4, 13.4, 13.4, 13.4, 13.4, 13.4, 13.4, 13.4, 13.4, 13.3, 13.3, 13.4, 13.3, 13.3, 13.3, 13.3, 13.3,

Aprovecho también para averiguar si hay una forma digna de quitar la última coma, lo consigo extrayendo el último valor independientemente, pero no me parece muy correcto.