Bueno, el robots, salga en las serps o no, es acesible en cualquier web (creo, pero si no, hagan la prueba), y sirve para eso, para bloquear a robots, y su indexación, no usuarios.
Para bloquear usuarios, bien se pueden usar passwords como diego explica más arriba (y no hace falta ser experto para hacerlo! el manual está bastante bien explicado!). Otra opción es bloquear directamente la carpeta a todo el mundo (por ejemplo para poner archivos o cosas que no queremos que nos toquen, pero que las usamos para el funcionamiento de nuestra web) o permitir el acceso sólo a determinadas ips:
http://www.forosdelweb.com/f58/bloqu...ta-web-813978/
Saludos