Por cierto, hablando del robots.txt y de los permisos que le damos a éste, ¿sirve de algo especificar que le permitimos todo?
Es decir, algo así:
Código HTML:
User-agent: *
Allow: /
Lo digo porque últimamente y desde hace tiempo me encuentro robots.txt con sólo esto:
Código HTML:
User-agent: *
O sea, que ponen que todos los robots que quieran se pasen, pero no especifican si lo permiten, "allow", o no lo permiten, "disallow".
Supongo que mucha gente lo dará "por entendido" que así es, pero no creo que esté de más especificar en el robots un "allow" y la barra inclinada para que rastree toda nuestra web, ¿no?