¡Buf! Hacer un robot no creo que sea difícil. El problema será la cantidad de recursos necesarios para que funcione correctamente. ¿Te imaginas un script en tu servidor leyendo millones de documentos por toda la red? Además, motores como Google no descartan ningún término, pero tú pretendes enfocarlo a palabras relacionadas con las empresas, así que sería más trabajo y menos precisión (podrías indexar cualquier cosa sólo por que en una página aparece una palabra relacionada, aunque la página no tenga nada que ver). Y en cualquier caso, será muy difícil controlar los resultados de forma eficiente. Pero bueno, sí es lo que quieres, el amigo Tantra dejó un buen enlace en el foro de E-business:
http://www.searchtools.com/robots/robot-code.html
Y en sitios como hotscript.com seguro que hay algún Robot listo para funcionar.
Por otra parte, para hacer un directorio de empresas no necesitas ningún Robot, sino algún script más sencillo. Pregunta en los foros de perl o php.