Pues eso:
Cita:
Iniciado por Daniel Ulczyk 
Robots.txt es un archivo de directivas restrictivas; por lo que declará en el mismo las carpetas a los cuales negarás acceso a los bots.
Lo que por lógica, entonces, no se indexará en los resultados de búsquedas orgánicas.
Finalemente, el protocolo está explicado en robotstxt.org
Como ejemplo; si tenés una carpeta llamada pruebas y deseás restringir el acceso que los motores de búsqueda puedan tener a sus contenidos, tu archivo robots.txt tendrá el siguiente contenido: