Como mejorar la seguridad de mi sitio web con robots.txt

[berto82]

He leído tutos sobre seguridad web y sobre algunos métodos como no permitir la entrada a directorios del sitio y cosas de ese tipo. Pero no me queda claro si hacerlo con htaccess o con el archivo robots.txt. Tampoco se como debería combinarlos si es que hay que hacerlo ni a que debería aplicar restricciones de acceso.

Mi pregunta es ¿que es lo fundamental para que mi sitio web sea seguro?

Ahora por ejemplo tengo en el htaccess el acceso denegado a bots maliciosos. Pero he visto archivos de robots.txt de ejemplo con cantidad de restricciones a directorios y rutas específicas.

Algún consejo maestros?

[ronnie101984]

El robots.txt es fundamental si, sobretodo si las webs son dinámicas donde se pueden llegar a indexar url que no nos interesan, no sabemos si es tu caso, que tipo de web tienes?

[RBZ]

Si hablamos de seguridad debes centrarte en el archivo .htaccess. Robots.txt es como un cartel con el letrero de "prohibido el paso" y .htaccess es como una puerta blindada... no hay color.

[berto82]

Gracias por contestar a los dos. ronnie101984 en principio tengo solucionado el que no puedan entrar a urls dinámicas, las redirecciono con php con el método de redirección 301.
RBZ te haré caso, había oído algo de eso, robots se basa en recomendaciones y htaccess en órdenes ¿no?

Y que tendría que proteger con htaccess? por ejemplo esta línea para que no entren a los directorios?...

Options -Indexes

No uso descargas ni tengo archivos ejecutables ni nada por el estilo en mi sitio web. Pero si tengo algún que otro archivo php que solo actúa para actualizar datos(es que uso las api de un sitio web). Tendría que proteger esos archivos o algo así?
También tengo un chat en una carpeta que uso solo vía popup y no quisiera que accedieran al chat a través de su ruta. Ya le he puesto un noindex para que no sea indexada.

[Becks88]

Si quieres mejorar estrictamente la seguridad de tu sitio web lo mejor es no incluir URL privadas en el robots.txt

En el robots.txt das pistas de qué URLs no quieres que accedan los buscadores. En muchos de estos casos se incluyen erroneamente URLs del tipo /wp-admin/ del wordpress, cuando esas deben ir en el .htaccess, no en el robots.txt, ya que un hacker que acceda al robots.txt (el fichero debe ser público para que puedan accederlo los buscadores) puede ver estas URL y actuar en consecuencia.

Para tener total seguridad, no debes dar pistas de estas URL.

[berto82]

Ok Becks88, tomo nota. ¿Pero tengo que hacer algo en el htaccess?

[RBZ]

En principio no tienes que hacer nada excepto que quieras que nadie vea esos archivos php aunque conozca la url, pero para eso sería necesario conocer perfectamente cómo tienes programado el sitio para evitar "daños colaterales". Ahí de poco puedo ayudar, yo con el archivo .htaccess todo lo hago por prueba/error.

[berto82]

Ah ok entonces no me preocupo. En principio solo habría ese archivo por "proteger" y tampoco pasaría nada si alguien entra. Era por curiosidad y por saber si hacía falta hacer algo.

Gracias a todos por las respuestas, ya tengo más conceptos claros. Seguiré aprendiendo ;)