robots.txt es seguro?

[innerweb]

Hola. Al utilizar robots.txt, no dejamos al descubierto las carpetas y/o páginas que queremos ocultar? Digo, cualquiera que ponga www . CualquierDominio / robots.txt accede al contenido del archivo robots.txt y ve que directorios o urls son las que no queremos que vean... se entiende?

[fer10]

robots.txt son para que los buscadores no lo indexen a su busqueda, y ciertamente quedan al descubierto algunas carpetas que no quieres que indexen pero si no quieres que no ingresen ni con el url.. mejor ponle un usario y contraseña a esas paginas y ya ni los robots ni los usarios entran..

aun varios buscadores que ignoran ese archivo.

[innerweb]

sisi, correcto lo que decis fer10. Lo que me preocupaba es que por ejemplo viendo el archivo robots.txt de muchos sitios, llegoo a la conclusion que alguien malintensionado se ahora algunos pasos dado que este archivo muestra algunos directios sencibles. Por ejemplo la mayoria de los que vi tienen un directorio admin donde supongo se encuentra el area de administracion del sitio o algo por el estilo. A una persona malintencionada, no le estariamos ahorrando el paso de descubrir la estructura del sitio? Es muy paranoico mi punto de vista?

[AlvaroG]

No, no es nada paranoico.

robots.txt no es parte de ninguna norma, aceptarlo o no es simplemente una elección del robot o navegador.

De hecho, tal y como decís le estás dando a cualquiera un listado de carpetas sensibles.
Está mal usarlo para proteger carpetas, debería usarse simplemente para decirle a los navegadores "prefiero que vengas por acá pero no por allá", y para mejorar la forma en que el buscador indexa el sitio, no por seguridad.

Para progeter una carpeta de forma efectiva, lo que necesitás es (en un servidor Apache) usar Redirect, RedirectMatch, Auth-Type o Rewrite.

Por ejemplo, si no querés que se ingrese (ni se revele la existencia) de una carpeta /admin, basta poner en el .htaccess

Redirect 404 /admin

y cualquier petición http a /admin será negada con un error 404, tal y como si la carpeta no existiera.


Saludos.