El archivo robots.txt te permite restringir carpetas o subdirectorios; las entradas con nombres de archivos—decidamente—las ignora.
Otra característica del protocolo es que es caso sensitivo—distingue mayúsculas de minúsculas—por lo que los nombres de las carpetas en mayúsculas (en tu ejemplo) son ignorados, también.
Saludos!
Te dejo un enlace para que consultes el protocolo
The Web Robots Page