Busca en google por el término "spider" (search ...)
Un ejemplo podría ser: (sólo usé google)
http://www.cs.ioc.ee/~ando/sphider/index.php
Pero . .antes de nada deberías informarte bien "como funciona un buscador" .. de que partes se compone y que técnicas se usan .. así podrías tu mismo intentar implementar uno.
Recuerda que no puedes empezar "la casa por el tejado" ..
Un saludo,