Cita:
Iniciado por Juan Ca 
Por cierto, hablando del robots.txt y de los permisos que le damos a éste, ¿sirve de algo especificar que le permitimos todo?
No tiene sentido. Robots.txt imparte directrices restrictivas. Para declarar sólo que se permite todo, mejor evitar subirlo.