Cita:
Iniciado por Abelmelero 
La razón de tener el robot así, es por que los de mi hosting, CDmon, me mandaron un mensaje diciendo que limitar a los robots el tiempo de no se que por que estaban saturando el servidor a peticiones, siento no se más especifico pero fue hace tiempo y no entiendo de esto.
Y copie lo que ellos me mandaron, entonces, me gustaría que fuera tal cual pero con lo que les he dicho.
Si me lo pudieran crear para solo tener que copiar y pegar, se lo agradeceria, porque de verdad que no tengo ni idea, y si me aconsejan que es mejor el Allow pues tambien pongan el Allow.
Gracias de nuevo.
Pues parece que esa petición es para que no te visiten los robots o crawlers durante 60 días, pero no creo que obedescan esas ordenes.
Por otro lado el Allow dentro de robots.txt creo qeu esta mal y no se debe escribir, mira esta página:
www . frobee . com/robots-txt-check
o esta a ver si encuentras mas info:
www . robotstxt . org
Saludos