Hola,
Documentos de google:
http://labs.google.com/papers.html , entre los que esta The Anatomy of a large-scale hypertextual Web search engine, mas o menos describiendo google.
Yahoo y m$n me suena que tienen secciones parecidas.
En general, busca info sobre Information retrieval (no se si esta bien escrito), que es el nombre tecnico de las tecnicas de los buscadores.
Posiblemente mucho sea altamente teorico, sin mucho codigo.
Tambien puedes mirar la documentacion de proyectos opensource de buscadores, como
http://jakarta.apache.org/lucene/docs/index.html
Saludos.