yo utilizo el comando noindex, nofollow, noindex le dice que no indexe la url y nofollow que no la rastree, por ejemplo:
<a href="google.com" rel="noindex, nofollow">Link</a>
entonces quando el robot este rastreando tu pagina y encuentre este enlace, no lo indexara ni tampoco lo seguira...