Como funciona google

[bender3001]

Como funciona google

Es sabido, que es el buscador por exelencia. Pero de que forma ordena los resultados y como los obtiene es un tema para tener en cuenta.
Primero hay que tener en cuenta que Google cuenta con un servicio pago, al que llaman Soluciones publicitarias de Google. Pueden verlo en este link: http://www.google.com.ar/ads/
Otra cosa importante a la hora de hablar de este tema, es que, si realizamos búsquedas idénticas en dos equipos distintos, podemos obtener resultados distintos. Esto quiere decir que Google, de alguna forma personaliza los resultados. La utilización de Cookies es uno de los medios que usa para lograr esta personalización. Pero, ¿utiliza otros medios para lograr resultados personalizados?
Otro aspecto a observar, es que si realizamos una misma búsqueda, en el mismo equipo, en días distintos, obtendremos resultados diferentes. Esto se debe al dinamismo de internet. La actualización de sitios, entre otras cosas, contribuye en esto. Pero, ¿nunca les pasó que algún resultado de una búsqueda los lleva a una página que no está disponible? y tal vez hace tiempo que no está disponible. Si bien esto es raro, me ha ocurrido. Evidentemente, hay algunos datos en las bases de datos de google que se actualizan constantemente y otros que no. ¿Porqué ocurre esto? ¿Tiene que ver con la fecha de expiración que tienen algunas páginas web? Creo que no, ya que lo he probado con páginas que no tienen expiración. Las busqué, las encontró google, las retiré y luego ya no las encontraba.
Obviamente Google tiene una potencia enorme, pero como sabemos, no es perfecto.
Me gustaría conocer las experiencias y/o comentarios que quieran compartir.
También sería interesante conocer links sobre el tema.
Estos son algunos víncluos que pueden ser de interés:
http://www.googleguide.com/index.html
http://www.googleguide.com/google_works.html
http://searchenginewatch.com/

[Virgil]

Movido al foro adecuado

[Linero]

El motor de indexación de Google esta implementado en C/C++ por razones de eficiencia y puede correr tanto sobre Solaris como sobre Linux. En Google, el proceso de exploración (descargar las páginas a indexar) es realizado por varios exploradores distribuidos. Existe un proceso URLserver que envía listas de URLs a ser descargados a los exploradores. Las páginas que son descargadas son enviadas luego al storeserver. El storeserver comprime y guarda las páginas en un repositorio. Toda página tiene asociado un ID denominado docID que es asignado cada vez que un nuevo URL es interpretado desde una página. La función de indexación es llevada a cabo por un proceso indexador y un clasificador. El indexador lleva a cabo varias funciones: Lee el repositorio, descomprime los documentos y los interpreta, cada documento es convertido en un conjunto de ocurrencias de palabras llamadas hits o aciertos. Cada acierto registra la palabra, posición en el documento y una aproximación del tamaño de la fuente y si está o no en mayúsculas. El indexador distribuye estos aciertos en una serie de “barriles” (barrels) creando un índice. Además, el indexador interpreta todos los enlaces en cada página y guarda información importante sobre los mismos en un archivo llamado anchors, este archivo contiene información suficiente sobre origen y el destino del enlace, y cual es el texto del mismo.

El URLresolver lee registros del archivo de enlaces y convierte URLs relativos en URLs absolutos (por ejemplo si el enlace es desde http://foo.bar/index.htm hacia images/bar.gif el URL absoluto es http://foo.bar/images/bar.gif). Luego convierte los URLs absolutos en docIDs. Pasa el texto del enlace al índice y los asocia con el docID apuntado por el enlace. También genera una base de enlaces que son simplemente pares de docIDs de la forma “desde-hasta”. La base de enlaces es luego usada por el algoritmo de PageRanking para determinar la importancia de cada documento.

El proceso clasificador toma los barrels que están ordenados por docId y los reordena por wordID para generar un índice invertido. Esto es realizado en el mismo lugar para ahorrar espacio auxiliar. El clasificador produce también una lista de wordIDs y desplazamientos al índice invertido. Un programa denominado DumpLexicon toma la lista junto con el léxico producido por el indexador y genera un nuevo léxico para ser usado por el buscador. El buscador es invocado por el servidor web y usa el léxico construido por DumpLexicon junto con el índice invertido y los PageRanks para resolver las búsquedas.

Google esta diseñado para ser una herramienta de búsqueda escalable eficiente y con un sistema altamente avanzado de ranking de páginas. El uso del algoritmo de PageRank le da una gran calidad a los resultados de búsquedas “comunes”, la enorme cantidad de datos, de lejos la colección mas grande de páginas web del mundo, le permiten resolver eficazmente búsquedas “difíciles” mientras que el repositorio de páginas asegura que los resultados devueltos pueden ser accedidos y consultados por el usuario siendo a su vez de enorme valor como una colección histórica de los documentos en la web.

[bender3001]

Muy interesante esta info!
Si alguien tiene algo más para agregar, por favor, postear!.

Saludos!