Robots.txt es un archivo de directivas restrictivas; por lo que declará en el mismo las carpetas a los cuales negarás acceso a los bots.
Lo que por lógica, entonces, no se indexará en los resultados de búsquedas orgánicas.
Finalemente, el protocolo está explicado en
robotstxt.org