Indicar mediante robot.txt a google adsense que rastree todas mis páginas.

[Abelmelero]

Hola,

Este es mi archivo robot.txt que tengo actualmente:

User-Agent: *
Disallow:
crawl-delay: 60

Pero quisiera dejarlo tal cual, pero además decirle a google adsense que puede rastrear cuando y cuanto quiera todas las páginas del sitio.

Como quedaría terminado ese robot.

Siento que les pida tanto pero es que por mucho que leo no consigo aclararme, y si son tan amables de hacérmelo ustedes estaría muy agradecido.

Gracias de antemano y saludos!!

[pablisho]

Por qué razón forzar al bot con "crawl-delay: 60" ?
Elimina esa línea y, si no tienes documentos que no deben ser indexados, sólo deja:

Código HTML:

User-Agent: *
Disallow:
 

[Usuarios466]

Yo creo que quedaría mejor así:

Código HTML:

User-agent: *
Allow: /

O en todo caso:

Código HTML:

User-agent: *

Ya que se supone que si no se especifica ningún "Disallow", todo lo que vean los robots lo van a indexar/rastrear. Además de que en Robots.txt no se especifica la orden "Allow".

Por cierto, no estaría de más que en el archivo robots.txt se especificara, además, la url del Sitemap:

Código HTML:

User-agent: *

Sitemap: http://www.paginaweb.com/sitemap.xml

[Abelmelero]

La razón de tener el robot así, es por que los de mi hosting, CDmon, me mandaron un mensaje diciendo que limitar a los robots el tiempo de no se que por que estaban saturando el servidor a peticiones, siento no se más especifico pero fue hace tiempo y no entiendo de esto.

Y copie lo que ellos me mandaron, entonces, me gustaría que fuera tal cual pero con lo que les he dicho.

Si me lo pudieran crear para solo tener que copiar y pegar, se lo agradeceria, porque de verdad que no tengo ni idea, y si me aconsejan que es mejor el Allow pues tambien pongan el Allow.

Gracias de nuevo.

[merino_renato]

Iniciado por Abelmelero

La razón de tener el robot así, es por que los de mi hosting, CDmon, me mandaron un mensaje diciendo que limitar a los robots el tiempo de no se que por que estaban saturando el servidor a peticiones, siento no se más especifico pero fue hace tiempo y no entiendo de esto.

Y copie lo que ellos me mandaron, entonces, me gustaría que fuera tal cual pero con lo que les he dicho.

Si me lo pudieran crear para solo tener que copiar y pegar, se lo agradeceria, porque de verdad que no tengo ni idea, y si me aconsejan que es mejor el Allow pues tambien pongan el Allow.

Gracias de nuevo.

Pues parece que esa petición es para que no te visiten los robots o crawlers durante 60 días, pero no creo que obedescan esas ordenes.

Por otro lado el Allow dentro de robots.txt creo qeu esta mal y no se debe escribir, mira esta página:

www . frobee . com/robots-txt-check

o esta a ver si encuentras mas info:

www . robotstxt . org

Saludos