Si quiere evitar que los exploradores indexen páginas individuales de su sitio, puede colocar el siguiente elemento de etiqueta meta en el código HTML de la página:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Si quiere evitar que todos los robots archiven los contenidos de su sitio, use la etiqueta meta NOARCHIVE. Coloque esta etiqueta en la sección <HEAD> de sus documentos, como se indica a continuación:
<META NAME="ROBOTS" CONTENT="NOARCHIVE">
http://www.google.com/intl/es/remove.html