Hola,
Cita: - Es bueno o no subir al hosting el archivo robots.txt?? porque he leido que muchos dicen que no es conveniente, o en su lugar es mejor el htacces??? se configura del mismo modo?.
Veamos, el robots.txt y el htacces sirven para cosas distintas. El robots.txt es como si dejas la puerta de tu cuarto abierta y pones un cartel que ponga "prohibido el paso". En ese caso, alguien va, lee el cartel y decide hacerle caso y no entrar. Pero otra persona puede leerlo, y pasar de el y entrar. El htacces es colocar una cerradura en tu puerta, sin cartel ni nada, y darle la llave solo a quien tu quieras que entre.
Resumiendo, el robots si solo quieres indicar a quien obedece lo que quiere/no quieres que lea, pero sin forzar a que no sea accesible. htacces si quieres que sea imposible entrar si tu no lo permites.
En el robots.txt no es recomendable indicar carpetas con contenido secreto, ya que los "chicos malos" leen el robots.txt para saber donde buscar.
Sobre la sintaxis del robots.txt, existen varias versiones. En
www.robotstxt.org esta la 1, que es la mas sencilla y la que respetan todos los robots que respetan el robots.txt. Luego parece que existe una version 2, pero no he encontrado pagina oficial, ni una lista de robots que la soportan. Y luego cada robot puede soportar extensiones no oficiales. Por ejemplo, en
http://www.google.es/intl/es/webmasters/3.html#removed google indica cierta sintaxis extendida que soporta (creo que basada en el robots version 2).
Saludos.