Cita:
Iniciado por Daniel Ulczyk 
No hay teorías aquí. Para eso están las especificaciones y los protocolos de
robots.txt la declaración
allow, no existe
Así es, he vuelto a leerme las especificaciones y los protocoles de robots.txt y en ningún caso especifica que existe la declaración "Allow".
Pero de todas formas, he visitado el archivo robots de algunas webs, y sí que lo ponen (y no son pocos). ¿Entonces quiere decir que todos lo hacen mal? ¿Por qué se ha extendido pues esa mala práctica?
Entiendo que si hay una declaración "Disallow" para que X robot no indexe un determinado contenido, también debería de haber una declaración que diga que queremos que indexe determinado contenido.
Llegados a este punto, podemos decir que lo correcto sería:
Código HTML:
User-Agent: *
Pero, como decía, hay muchos que ponen:
Código HTML:
User-Agent: *
Allow: /
Se entiende que poniendo el "User-Agent" con el asterisco para que pasen todos los robots y spiders dices que son a todos, sin restricciones, pero me gustaría saber si es perjudicial, penalizable, o qué ocurre si ponemos el "Allow" o si no lo ponemos.
¿También se puede linkar el Sitemap desde el robots de esta forma, o mejor sólo enlazarlo desde las HPW y ya está?
Código HTML:
User-Agent: *
Allow: /
Sitemap: http://web.com/sitemap.xml
¿O mejor así?
Código HTML:
User-Agent: *
Sitemap: http://web.com/sitemap.xml