Prograar un Spider

[esunestudio]

Hola, debido a un proyecto, tengo la necesidad de programar un spider.

Las funciones seran recojer datos de una web, y guardarlos en una base de datos.

La bd, la tengo montada, ahora me falta lo dificil, que el robot coja datos y los guarde.

Alguien tiene algun tipo de documentacion al respecto ? un saludo

[ronnieb]

Prueba mirando la librería cURL

http://ar.php.net/manual/en/book.curl.php

Saludos.

[Webstudio]

Qué datos necesitás recojer de cada web?
Cuál es el propósito del Spider?
Como pensaste la base de datos?

Contanos un poco esas cosas y vamos viendo como ayudarte a pensar el Spyder.

[esunestudio]

Muchas gracias por contestar.

Pongamos que quiero sacar datos de una pagina web de venta de casas.

Esta pagina tiene :

Titulo
Descripcion
Precio
contacto

yo tengo la base de datos creada

alt_titulo
alt_descripcion
alt_precio
alt_contacto

La funcion del spider, es cojer esos datos de esta pagina web y guardarlos en mi base de datos.

Un saludo

[Mercader]

yo lo que aria es sacar el codigo de la web.
con:

Código PHP:

  file_get_contents();  
   

Luego analizar la web, si el titulo es un enlace, si tiene etiquetas <b>, o alguna cosa que pueda identificarlo para extraerlo con expresiones regulares.

Lo mismo para la descriptcion y el precio.

[esunestudio]

He estado usando este codigo

<?php

/*
Spider Script.
Written By: Valek
December 13, 2008 */

$url = "http://www.google.es";

$page = file_get_contents($url);

$pattern = "/href=[\"\']([^\"^\']+)[\"\']/";

preg_match_all($pattern, $page, $results, PREG_PATTERN_ORDER);

$results = $results[1];

$results = implode("SPLIT",$results);

$results = "SPLIT".$results;

$results = str_replace("SPLIT/","SPLIT".$url."/",$results);

$results = explode("SPLIT", $results);

array_shift($results);

echo "<pre>";
print_r($results);
echo "</pre>";

?>

con el se pueden ver cuantas paginas hay en un servidor, pero sigo sin saber como hacer que me muestre solamente el div = X

[codig0]

¿a que te refieres con eso de el div= X ?

bueno, si quieres coger algún contenido de otra web, te he echo este código simple

Código:

<?php

set_time_limit(0);

$url = file_get_contents('http://www.frasescelebres.net/frases-de-abogados.html');

$cadenaId='<p><img title="frases" src="/frases.gif" alt="frases" />';
$posId=strpos($url,$cadenaId);
$posId = $posId + strlen($cadenaId);
$cadenaId=substr($url,$posId,1400);
$FinalId=strpos($cadenaId,'<div>');
$IdFinal=substr($cadenaId,0,$FinalId);

echo strip_tags($IdFinal);

?>

para que comprendas como hacerlo, espero que te sirva de ayuda, sino, pues ya veremos mañana, que ya es tarde por aquí

[esunestudio]

por ejemplo quiero que me saque el texto que esta dentro del div = titulo, por ejemplo

o que me saque todos los textos que estan dentro de <p> </p>

[codig0]

pues te puse un ejemplo arriba, míralo, igual te sirve.

[esunestudio]

Iniciado por codig0

pues te puse un ejemplo arriba, míralo, igual te sirve.

Esta linea no se muy bien como funciona :

$cadenaId='<p><img title="frases" src="/frases.gif" alt="frases" />';

[codig0]

Pues si te das cuenta es donde comienza, osea ahí se pone el código html que tenga antes de empezar lo que quieras coger y en donde pone la de div, pones el html que este al final de lo que quieras coger.

[esunestudio]

Ok, lo acabo de probar, he logrado cojer un div haciendo eso, voy a mirar si puedo cojer varias cosas a la vez como seria, y una vez lo tenga viene lo complicado , meter eso en una bd :P

[codig0]

Hombre... yo creo que insertarlo en la db, es lo más fácil.

[esunestudio]

Bueno ahora estoy montandolo todo, el codigo muy sencillo pero muy funcional, pero pienso que tendria que mostrarlo de otra forma para poder insertarlo en la db no ? conforme esta ahora, no veo como

[codig0]

Si lo que dices es como hacer para enviarlo en diferentes registros, tendrías que añadir un bucle.

[esunestudio]

por ahora estoy estudiando bien como recojer los datos, porque por ejemplo si en una web hay 3 <h1> </h1> y solo quiero cojer el 3º , la llevo clara :P

[codig0]

Pues pon algo que solo tenga antes el tercer h1 y listo xD.