Ocrum, mejor que en el useragent tambien indiques una url a una pagina donde expliques quien es ese robot, como hacen los robots bien educados.
Cita: ojala fuera capaz de crear un buscador !!
Ya tienes buscadores opensource si quieres hacer pruebras: Lucene y notch, entre otros.
Saludos.