Simple. Subiendo a tu root un archivo de texto que por nombre tiene
robots.txt Cita: # All robots will spider the domain / todos los robots rastrearán tu dominio
User-agent: *
Disallow:
# Disallow directory /nombre_de_carpeta
User-agent: *
Disallow: /nombre_de_carpeta
Con la instrucción Disallow le decís a todo spider = no mire / no indexe
Y completás la ruta o path que mantenés ajeno a los motores de búsqueda.
Saludos!