como harían un spider con PHP ???

[isaacrc82]

Hola:

Tengo ciertas dudas sobre como hacer un spider, quisiera saber como harían un spider en php, que arquitectura usarían ? Para hacer un spider hay que indizar los datos cada cierto tiempo, como se hace esto con php ??? con un servicio web ???

Espero que alguien me pueda ayudar y argumentar sobre estas cosas.

Saludos
Le agradecería que me ayudara

[wrkjmg]

Yo te hago uno por 120€
Aunque depende de lo que busques y como lo quieras indexar.
¿Como vas a mantener el script PHP ejecutandose continuamente?
¿El servidor es tuyo?
Necesitaras potencia de proceso y de almacenamiento segun lo que busques.

Hace falta saber que es lo que quieres exactamente.

[pzin]

Existe un subforo de ofertas de empleo, y que yo sepa no estamos en él wrkjmg.

[wrkjmg]

Yo te hago uno por 120€

Perdón, no quedo muy claro que era una broma, me rectifico aquí por si alguien al leerlo pudiera confundir mi post con propaganda y/o alguna intención de lucro por mi parte.

Hice esa broma porque encuentro que la gente a pasado de pedir ayuda con un problema a pedir la web entera (exagerando un poco).

Me encanta ayudar a la gente, postear en el foro y participar en los hilos en los que creo que puedo aportar algo. Pero ultimamente encuentro muchos hilos tipo "necesito hacer una pagina que me saque de la base de datos las imagenes y me las muestre ordenadas por nombre de menor a mayor....¿Me podriais ayudar?".
¿Como le ayudas? ¿Le haces la pagina entera?. Desmoraliza un poco eso.

Se están volviendo un poco cómodos.

Aquí dejo un enlace al maravilloso manual oficial de PHP y en cristiano (español) Manual de PHP en español. Aquí encontrareis un sinfín de posibilidades que nos ofrece PHP , que combinandolas con imaginacion e ingenio vereis como podréis crear scripts que hagan practicamente cualquier cosa que vuestra imaginacion de a luz.

PD: perdón por la arrogancia del post y también a todos los que pueda haber ofendido....... Si es que me gano los puntos negativos a la fuerza

[DeeR]

Respecto a un Spider con PHP
Yo tengo un Articulo que habla al respecto
http://deerme.org/web/sec/php/sub/Tips/id/38

Este Articulo habla sobre crear un Bot Spider Web que navege automaticamente por los Enlaces de un Sitio y recupere todas las Palabras del Sitio , luego a esas palabras les saco su hash MD5 , SHA1 y CRC32 y las guarda en la bd.

en general fue un mini proyecto mio MD5Search en el cual me forme una gran bd de palabras , el sistema lo hize funcionar durante su semana , y tengo una bd de como 40 mb de palabras con su hash y todo (al rededor de 200.000 palabras :P).

Bueno en fin, en general el Script del Articulo no esta muy "optimizado" ya que consume muchos recursos.

Mas que nada te puede servir como orientar un Sistema, ya que como todos saben , el Foro PHP es para ayudarte y orientarte con algun algoritmo,script,funcion,clase,etc... no para hacer trabajos gratis


Saludos

[isaacrc82]

Bueno wrkjmg, no estoy buscando quien lo haga porque lo quiero realizar yo y es para una tarea de la escuela.

Solo quería saber cual es la funcion que se utiliza para ejecutar un script cada cierto tiempo, hay que hacerlo obligatoriamente sólo con el cron de linux, no hay otra forma ??? También quería saber que patrón de arquitectura se utiliza para hacer este tipo de cosas.

Espero que alguien me ayude.

Saludos

[wrkjmg]

Bueno, creo que el articulo que ha puesto DeeR esta bastante bien para hacerse una idea.

El cronJobs esta precisamente para programar la ejecucion automatica de tareas periodicas.
Si lo que preguntas es por una funcion en PHP que programe tareas automaticas, no la hay.

Lo de 'patrón de arquitectura' no se a que te refieres, pero tampoco es que sea muy complejo un script de un spider. Claro que depende de lo que quieras que haga el spider.

De todas formas PHP no es que sea la plataforma ideal para este tipo de tareas.

[pzin]

wrkjmg perdóname a mi, que no entendí la broma.