Foros del Web » Programando para Internet » PHP »

Crear un buscador como Google en PHP

Estas en el tema de Crear un buscador como Google en PHP en el foro de PHP en Foros del Web. Hola Maestros: Quiero saber como puedo empezar a hacer un buscador tipo google en php y mi base de datos que se encuentre en el ...
  #1 (permalink)  
Antiguo 07/10/2003, 10:02
Avatar de payo22  
Fecha de Ingreso: noviembre-2002
Ubicación: México
Mensajes: 839
Antigüedad: 15 años, 1 mes
Puntos: 1
Crear un buscador como Google en PHP

Hola Maestros:


Quiero saber como puedo empezar a hacer un buscador tipo google en php y mi base de datos que se encuentre en el Mysql.

Si alguien sabe en donde encuentro informacion sobre como desarrollar un sistema a un buscador como el google se lo agradeceria mucho ya que me ayudaria a avanzar el sistema.

Si alguien me podria decir por donde puedo empezar de antemano muchas gracias.

gracias por su apoyo
  #2 (permalink)  
Antiguo 07/10/2003, 11:40
O_O
 
Fecha de Ingreso: enero-2002
Ubicación: Santiago - Chile
Mensajes: 34.417
Antigüedad: 15 años, 11 meses
Puntos: 126
Busca por el témino "spider" .. En www.hotscripts.com tienes buscadores implementados de ese tipo.

En su base (básica valga la rebundancia) se trata de abrir una página cualquiera y "seguir" abriendo las páginas que encuentres en esa página (guiandote por los links que aparezcan en ella) .. así "recursivamente" ... A su vez te vas almacenando "cacheando" las páginas ..

El proceso de mostrar tus resultados de busqueda .. se trata de buscar en tu BD .. en esas páginas que has "cacheado" .. Para eso te hará falta usar busquedas tipo "full text" de Msyql ..

Eso es la base .. pero, .. sinceramente si quieres hacerlo como "práctica" .. OK, pero a nivel redimiento vale la pena usar las API's de google por ejemplo para que "google" te trabaje la busqueda y tu sólo "parseas" los resultado que te entregue dandole el formato que quieras en tu web ..

Un saludo,
__________________
Por motivos personales ya no puedo estar con Uds. Fue grato haber compartido todos estos años. Igualmente los seguiré leyendo.
  #3 (permalink)  
Antiguo 07/10/2003, 13:17
Avatar de payo22  
Fecha de Ingreso: noviembre-2002
Ubicación: México
Mensajes: 839
Antigüedad: 15 años, 1 mes
Puntos: 1
Funcional

Hola Cluster:

Creo que seria mejor hacer que este sistema sea funcional, es decir , aplicar todo para poder hacer que el sistema funcione bien.

La verdad para empezar me gustaria investigar pero he encontrado poca informacion con este tema.

quiero empezar por todo lo basico y entender todo a la perfeccion .


espero que me puedas ayudar.

gracias por tu ayuda.
  #4 (permalink)  
Antiguo 07/10/2003, 13:22
O_O
 
Fecha de Ingreso: enero-2002
Ubicación: Santiago - Chile
Mensajes: 34.417
Antigüedad: 15 años, 11 meses
Puntos: 126
mm pues entonces mejor empieza por buscar información de cómo trabajan los buscadores .. como trabaja "google" por ejemplo .. Cuando tengas la "técnica" ya vendrá la hora de implementarlo en algún lenguaje sea PHP o lo que corresponda.

Pero, no empieces la casa por el tejado .. si no conoces como funcionan los buscadores tipo "google" ... no puedes meterte con "PHP y Mysql" a ver que sale ...

Tal vez tu pregunta deberías orientarla en el foro de "Ingenería del software" ..

Un saludo,
__________________
Por motivos personales ya no puedo estar con Uds. Fue grato haber compartido todos estos años. Igualmente los seguiré leyendo.
  #5 (permalink)  
Antiguo 07/10/2003, 15:08
Ex Colaborador
 
Fecha de Ingreso: junio-2002
Mensajes: 9.091
Antigüedad: 15 años, 5 meses
Puntos: 16
Hola,

Define "buscador tipo google". Lo digo porque luego dices "en php y mi base de datos" y no se si es que tienes los datos en tu base de datos ya.

Y es que si quieres hacer un buscador que recorra libremente internet recogiendo el contenido de millones de paginas, y quieres que te presente el resultado de una busqueda dentro de esos millones de paginas, pues creo que PHP no es el lenguaje mas propicio (y MySQL no se si tampoco).

Si lo que quieres es para indexar unas pocas paginas (quizas miles, no se el rendimiento), podrias mirar phpdig (http://phpdig.toiletoine.net/). Es GPL (opensource), asi que puedes jugar y estudiar el codigo.

Saludos.
__________________
Josemi

Aprendiz de mucho, maestro de poco.
  #6 (permalink)  
Antiguo 07/10/2003, 16:01
Avatar de payo22  
Fecha de Ingreso: noviembre-2002
Ubicación: México
Mensajes: 839
Antigüedad: 15 años, 1 mes
Puntos: 1
Hola Maestros Cluster Y Josemi.


Antes que nada muchas gracias por su apoyo me gustaria que me aconsejaran si puedo hacer el buscador en php ya que a mi si me interesaria desarrollarlo.

y lo que quiero hacer es una buscador que recoja el contenido de millones de paginas

gracias por todo
  #7 (permalink)  
Antiguo 07/10/2003, 16:40
O_O
 
Fecha de Ingreso: enero-2002
Ubicación: Santiago - Chile
Mensajes: 34.417
Antigüedad: 15 años, 11 meses
Puntos: 126
PHP .. tal vez te pueda servir .. pero sería mejor otros lenguajes .. tal vez C, Java .. Por la catidad de datos que moverias .. Lo mismo para el tema de tu BD .. Mysql es "buena" pero con mucho dato se "atraganta" .. hay otros manejadores de BD que aguantan mejor un gran flujo de datos, lease: Oracle y similares ..

Un saludo,
__________________
Por motivos personales ya no puedo estar con Uds. Fue grato haber compartido todos estos años. Igualmente los seguiré leyendo.
  #8 (permalink)  
Antiguo 08/10/2003, 06:07
Ex Colaborador
 
Fecha de Ingreso: junio-2002
Mensajes: 9.091
Antigüedad: 15 años, 5 meses
Puntos: 16
Uff, como dice Cluster, en PHP se podria programar, pero el rendimiento, no se yo.

Ademas del lenguaje de programacion, es tambien importante el hard donde va a ejecutarse. Sin ponerme a pensar demasiado, el tipico hosting de pago no creo que de para ello. Procesos demasiado pesados, mucho trafico, muchos recursos.

Por lo que se, google funciona en un cluster (no, nuestro moredador no ) de unos 20000 equipos Linux optimizados que funcionan como una sola maquina. Y "solo" maneja 3300 millones de paginas. Asi te puedes hacer una idea de la potencia del hard necesaria para mover un buscador. (Bueno, vale, mueve todo google, no solo el buscador web).

Ahora estoy en el trabajo, pero luego en casa mirare si encuentro un documento donde explicaba la arquitectura del buscador de google (sus partes: spider, indexador, ...).

De todas formas, revisa el codigo de phpdig. Creo que tiene un spider y un indexador.

Y si al final te decides a crear el proximo google (en C como te he leido en otro lado), recuerda que el algoritmo debe ser escalable, tanto en volumen de datos como en recursos consumidos. Por muy bueno que sea un buscador, si para mil paginas se vuelve lentisimo no sirve.

Y si quieres otro indexador (sin spider), esta vez en Java, tienes lucene http://jakarta.apache.org/lucene/docs/index.html (existe una traduccion al C, sa google para localizarla).

Y lee la documentacion de todos los proyectos de buscadores que puedas. En www.sourceforge.net hay proyectos opensource de spiders y buscadores. Puedes estudiar sus documentaciones y sus codigos.

Y en este mensaje de www.sitepointforums.com (http://www.sitepointforums.com/showt...threadid=76257) hay links a los documentos de la tesis de los creadores de google, es decir, la gestacion de google.

Y tambien intenta localizar todos los documentos que puedas sobre indexacion de informacion.

Creo que para esta tarde ya estas entretenido

Saludos.
__________________
Josemi

Aprendiz de mucho, maestro de poco.
  #9 (permalink)  
Antiguo 08/10/2003, 10:02
Avatar de payo22  
Fecha de Ingreso: noviembre-2002
Ubicación: México
Mensajes: 839
Antigüedad: 15 años, 1 mes
Puntos: 1
gracias por todo Maestros cuando haga mi sistema independientemente del lenguaje que utilice se los hare saber para que le hechen un vistazo y a lo mejor me pueden dar algunos consejos por ahi.

gracias por todo de nuevo.
  #10 (permalink)  
Antiguo 07/11/2003, 13:35
Avatar de dieguicho  
Fecha de Ingreso: noviembre-2001
Ubicación: Buenos Aires
Mensajes: 1.190
Antigüedad: 16 años
Puntos: 1
super interesantes los links.
descubri que google es mas poderoso de lo que pensaba
__________________
On error no hago nada porque deje de fumar...
  #11 (permalink)  
Antiguo 09/11/2003, 23:18
 
Fecha de Ingreso: abril-2003
Ubicación: Venezuela
Mensajes: 297
Antigüedad: 14 años, 8 meses
Puntos: 1
Lo que pasa es que tengo que hacer un sistema de búsqueda de libros en una biblioteca y no se si me servirá el PhpDig, para buscar por autor, titulo y materia.

O sea realizo la búsqueda por las tres palabras ya sea autor, titulo o materia, si este PhpDig, no sirve que me recomiendan.
La info esta en MySQL. No son páginas. Lo que psa es que no encuentro mucha info sobre comparaciones como full text, o like, ó match... y otras tienen muchas limitaciones.

O alguien ya lo ha echo.

De antemano Gracias.
__________________
crecer es conocer y conocer es aprender
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 04:23.