Crear un buscador como Google en PHP

[payo22]

Hola Maestros:


Quiero saber como puedo empezar a hacer un buscador tipo google en php y mi base de datos que se encuentre en el Mysql.

Si alguien sabe en donde encuentro informacion sobre como desarrollar un sistema a un buscador como el google se lo agradeceria mucho ya que me ayudaria a avanzar el sistema.

Si alguien me podria decir por donde puedo empezar de antemano muchas gracias.

gracias por su apoyo

[Cluster]

Busca por el témino "spider" .. En www.hotscripts.com tienes buscadores implementados de ese tipo.

En su base (básica valga la rebundancia) se trata de abrir una página cualquiera y "seguir" abriendo las páginas que encuentres en esa página (guiandote por los links que aparezcan en ella) .. así "recursivamente" ... A su vez te vas almacenando "cacheando" las páginas ..

El proceso de mostrar tus resultados de busqueda .. se trata de buscar en tu BD .. en esas páginas que has "cacheado" .. Para eso te hará falta usar busquedas tipo "full text" de Msyql ..

Eso es la base .. pero, .. sinceramente si quieres hacerlo como "práctica" .. OK, pero a nivel redimiento vale la pena usar las API's de google por ejemplo para que "google" te trabaje la busqueda y tu sólo "parseas" los resultado que te entregue dandole el formato que quieras en tu web ..

Un saludo,

[payo22]

Hola Cluster:

Creo que seria mejor hacer que este sistema sea funcional, es decir , aplicar todo para poder hacer que el sistema funcione bien.

La verdad para empezar me gustaria investigar pero he encontrado poca informacion con este tema.

quiero empezar por todo lo basico y entender todo a la perfeccion .


espero que me puedas ayudar.

gracias por tu ayuda.

[Cluster]

mm pues entonces mejor empieza por buscar información de cómo trabajan los buscadores .. como trabaja "google" por ejemplo .. Cuando tengas la "técnica" ya vendrá la hora de implementarlo en algún lenguaje sea PHP o lo que corresponda.

Pero, no empieces la casa por el tejado .. si no conoces como funcionan los buscadores tipo "google" ... no puedes meterte con "PHP y Mysql" a ver que sale ...

Tal vez tu pregunta deberías orientarla en el foro de "Ingenería del software" ..

Un saludo,

[josemi]

Hola,

Define "buscador tipo google". Lo digo porque luego dices "en php y mi base de datos" y no se si es que tienes los datos en tu base de datos ya.

Y es que si quieres hacer un buscador que recorra libremente internet recogiendo el contenido de millones de paginas, y quieres que te presente el resultado de una busqueda dentro de esos millones de paginas, pues creo que PHP no es el lenguaje mas propicio (y MySQL no se si tampoco).

Si lo que quieres es para indexar unas pocas paginas (quizas miles, no se el rendimiento), podrias mirar phpdig (http://phpdig.toiletoine.net/). Es GPL (opensource), asi que puedes jugar y estudiar el codigo.

Saludos.

[payo22]

Hola Maestros Cluster Y Josemi.


Antes que nada muchas gracias por su apoyo me gustaria que me aconsejaran si puedo hacer el buscador en php ya que a mi si me interesaria desarrollarlo.

y lo que quiero hacer es una buscador que recoja el contenido de millones de paginas

gracias por todo

[Cluster]

PHP .. tal vez te pueda servir .. pero sería mejor otros lenguajes .. tal vez C, Java .. Por la catidad de datos que moverias .. Lo mismo para el tema de tu BD .. Mysql es "buena" pero con mucho dato se "atraganta" .. hay otros manejadores de BD que aguantan mejor un gran flujo de datos, lease: Oracle y similares ..

Un saludo,

[josemi]

Uff, como dice Cluster, en PHP se podria programar, pero el rendimiento, no se yo.

Ademas del lenguaje de programacion, es tambien importante el hard donde va a ejecutarse. Sin ponerme a pensar demasiado, el tipico hosting de pago no creo que de para ello. Procesos demasiado pesados, mucho trafico, muchos recursos.

Por lo que se, google funciona en un cluster (no, nuestro moredador no ) de unos 20000 equipos Linux optimizados que funcionan como una sola maquina. Y "solo" maneja 3300 millones de paginas. Asi te puedes hacer una idea de la potencia del hard necesaria para mover un buscador. (Bueno, vale, mueve todo google, no solo el buscador web).

Ahora estoy en el trabajo, pero luego en casa mirare si encuentro un documento donde explicaba la arquitectura del buscador de google (sus partes: spider, indexador, ...).

De todas formas, revisa el codigo de phpdig. Creo que tiene un spider y un indexador.

Y si al final te decides a crear el proximo google (en C como te he leido en otro lado), recuerda que el algoritmo debe ser escalable, tanto en volumen de datos como en recursos consumidos. Por muy bueno que sea un buscador, si para mil paginas se vuelve lentisimo no sirve.

Y si quieres otro indexador (sin spider), esta vez en Java, tienes lucene http://jakarta.apache.org/lucene/docs/index.html (existe una traduccion al C, sa google para localizarla).

Y lee la documentacion de todos los proyectos de buscadores que puedas. En www.sourceforge.net hay proyectos opensource de spiders y buscadores. Puedes estudiar sus documentaciones y sus codigos.

Y en este mensaje de www.sitepointforums.com (http://www.sitepointforums.com/showt...threadid=76257) hay links a los documentos de la tesis de los creadores de google, es decir, la gestacion de google.

Y tambien intenta localizar todos los documentos que puedas sobre indexacion de informacion.

Creo que para esta tarde ya estas entretenido

Saludos.

[payo22]

gracias por todo Maestros cuando haga mi sistema independientemente del lenguaje que utilice se los hare saber para que le hechen un vistazo y a lo mejor me pueden dar algunos consejos por ahi.

gracias por todo de nuevo.

[dieguicho]

super interesantes los links.
descubri que google es mas poderoso de lo que pensaba

[karlo_]

Lo que pasa es que tengo que hacer un sistema de búsqueda de libros en una biblioteca y no se si me servirá el PhpDig, para buscar por autor, titulo y materia.

O sea realizo la búsqueda por las tres palabras ya sea autor, titulo o materia, si este PhpDig, no sirve que me recomiendan.
La info esta en MySQL. No son páginas. Lo que psa es que no encuentro mucha info sobre comparaciones como full text, o like, ó match... y otras tienen muchas limitaciones.

O alguien ya lo ha echo.

De antemano Gracias.