Claro, es muy fácil, debes hacer uso de un fichero llamado robots.txt.
En el puedes especificar que directorios quieres que se rastreen, cuales no, etc. Te pongo un ejemplo:
Código:
User-agent: *
Disallow: /carpeta/*
De este modo estas diciendo que para todos los robots de indexación (User-agent: *) deshabilite la carpeta /carpeta/* y todos sus archivos. Como nota informativa, el robots.txt se coloca en la raiz de tu web. ¡Saludos!