Podrías buscar información sobre "spiders" .. ese tipo de buscadores indexan páginas web en función de los links que encuentra en una determinada página de inicio (o varias) .. ahí van siguiendo todo link e indenxandolo en alguna BD o similar para acelerar las busquedas.
Es decir .. se compone del motor de "spider" que va buscando páginas en función de esos links que aparezcan y de una gestión de una BD cualquiera para hacer consultas a esta (el "buscador en si" que ves como "usuario" final).
En sistios como
www.hotscripts.com tienes buscadores de este tipo escritos en PHP.
Un saludo,