En mi experiencia profesional cuando me refiero a bots, estoy hablando de crawlers o spiders que recorren la Web para indexar los contenidos que deban ser indexados por los motores de búsqueda.
En cuanto a experiencia, sólo decirte que todo y cualquier webmaster que desea evitar que partes del sitio sean indexados lo utiliza a cotidiano.
Finalmente, de un tiempo a esta parte el uso del protocolo está homologado por la tríada:
Ahora bien, cuando ya tocás el tema de captchas; me es evidente que estás intentando alejar a otro tipo de programas. Que no son precisamente los que te he comentado.
De todas maneras, espero que la información te haya sido útil.