Los buscadores normalmente siguen las reglas que impongas en un archivo "robots.txt".
Pero cuidado: los "serios" lo siguen, pero no están obligados.
Si hay una carpeta de tu sitio que no debería verse, deberías pensar en usar un archivo .htaccess para negar el acceso.
Los buscadores son tus amigos: buscá "robots.txt" en alguno de ellos
Saludos.
Saludos.