Es necesario agregar Allow: en al archivo robots.txt

[YordanisRd]

Bueno quiero una repuesta por que un analizador de robots.txt

me dise que el atrivuto Allow no es nesesario

solo debo usar Disallow: a puntando a la parte que quiero bloquear
pero veo que luego de hacer eso mi web como que tarda para indexar
luego que le quite el Allow: del robots.txt

que usted opina

[Usuarios466]

El atributo "Allow" no existe para el archivo robots.txt.

Te recomiendo la lectura oficial de About /robots.txt.

Para permitir el acceso de todos los robots, en el robots.txt debes tener:

User-agent: *
Disallow:

Y para denegar el acceso de todos los robots:

User-agent: *
Disallow: /

Como viste en mis ejemplos, y si te lees la guía oficial, verás que no existe la orden "Allow".

Iniciado por YordanisRd

pero veo que luego de hacer eso mi web como que tarda para indexara

Que las páginas de tu web indexen de forma lenta, nada tiene que ver con el robots.txt.

[YordanisRd]

Gracia eso queria saber que El atributo "Allow" no existe para el archivo robots.txt

taba indesiso por que veo mucha web que tiene ese atributo puesto en su robots.txt