Hola yo estyo haciendo lo que creo que estas preguntando, o sea:
estoy haciendo o intentando hacer un buscador como el de google, yahoo o altavista o como otros miles. Tengo ideada la base de datos y estoy casi terminando el spider.
ahora si estas preguntando como se hace yo solamente te daria un link que no se si te ayude pero te da una idea de como hace google para hacerlo. Yo lo lei dije " a mira vos ", e hice la mia que nada tiene que ver con la idea de google, esa es la idea que pongas tus propios pensamientos para ver si podes hacer algo igual o mejor que google.
El link es este:
http://www.malditainternet.com/como-funciona-google
sin desmerecer a nadie y menos a google no creo que uno tenga que ser tan monstruoso para hacer un buscador. Ademas anda a ver a
www.cuil.com que es un buscador de un ex empleado de google donde dice que el algoritmo es 10 veces mejor que el de google pero a simple vista yo no le vi la mejora pero bue, es un ambiente en donde el que menos tiene tendra algo de 10.000.000 de dolares ajajajjajajaja yo solamente tengo un server en un datacenter, pero me la aguanto, saludosssssssssssssssssssss
La santa