Tienes que usar un archivo llamado
robots.txt
En él puedes especificar qué motores de búsqueda
entran o no entran en cada directorio.
También -y yo creo que es más real y concreto- existe
la posibilidad de redireccionar, permitir o impedir accesos
no sólo a directorios sino a archivos específicos con los
métodos 301 de .htaccess.
Investigas un poco y ya encuentras todo...