Creo que lo mejor es que el acceso estuviese protegido por usuario/password.
En Apache se puede hacer con el fichero .htpasswd
De ése modo aunque cualquier robot (no solo Google) intente acceder no va a poder.
Y puedes solicitar que Google elimine las páginas indexadas que no deseas desde tu cuenta en
Google Webmaster Tools