http://www.robotstxt.org/wc/active/html/googlebot.html , ahora mismo no se si mantiene el mismo user agent con la URL, pero deberia. Asi se ahorran este tipo de preguntas. Y en esa pagina tambien informa como evitar las visitas (lo del robots.txt).
Quizas tambien puedes registrarlo en robotstxt.org , cuanto mas transparente seas, mas confianza daras.
Saludos.