Hola,
En esa pagina esta la ficha del robot de Google. Y en
http://www.robotstxt.org/wc/active.html puedes buscar que otros robots estan activos. Esta informacion te puede servir para que examinando los logs de tu servidor web averigues que robots visitan tu web. Hay robots buenos, como el indexador de google, y hay robots malos, como los que se encargan de mirar el codigo HTML de cada pagina y recolectar los emails que aparecen para luego usarlos para SPAM.
Saludos.