Respecto a un Spider con PHP
Yo tengo un Articulo que habla al respecto
http://deerme.org/web/sec/php/sub/Tips/id/38
Este Articulo habla sobre crear un Bot Spider Web que navege automaticamente por los Enlaces de un Sitio y recupere todas las Palabras del Sitio , luego a esas palabras les saco su hash MD5 , SHA1 y CRC32 y las guarda en la bd.
en general fue un mini proyecto mio
MD5Search en el cual me forme una gran bd de palabras , el sistema lo hize funcionar durante su semana , y tengo una bd de como 40 mb de palabras con su hash y todo (al rededor de 200.000 palabras :P).
Bueno en fin, en general el Script del Articulo no esta muy "optimizado" ya que consume muchos recursos.
Mas que nada te puede servir como orientar un Sistema, ya que como todos saben , el Foro PHP es para ayudarte y orientarte con algun algoritmo,script,funcion,clase,etc... no para hacer trabajos gratis
Saludos