Busca por el témino "spider" .. En
www.hotscripts.com tienes buscadores implementados de ese tipo.
En su base (básica valga la rebundancia) se trata de abrir una página cualquiera y "seguir" abriendo las páginas que encuentres en esa página (guiandote por los links que aparezcan en ella) .. así "recursivamente" ... A su vez te vas almacenando "cacheando" las páginas ..
El proceso de mostrar tus resultados de busqueda .. se trata de buscar en tu BD .. en esas páginas que has "cacheado" .. Para eso te hará falta usar busquedas tipo "full text" de Msyql ..
Eso es la base .. pero, .. sinceramente si quieres hacerlo como "práctica" .. OK, pero a nivel redimiento vale la pena usar las API's de google por ejemplo para que "google" te trabaje la busqueda y tu sólo "parseas" los resultado que te entregue dandole el formato que quieras en tu web ..
Un saludo,