Si te sirve de más ayuda ... te dejo un link con
consejos para crear archivo robots.txt0 donde podrás ver hasta donde puedes llegar.
Normalmente se bloquean secciones de administración, de scripts y demás archivos que no queremos que Google muestre al mundo. Por contra, das información a los usuarios que pueden ver tu robots.txt solo con poner el nombre en la barra de navegación para intentar acceder a estos archivos. Aveces vale la pena correr el riesgo...jejeje.