Te remito al protocolo mismo que indica la estructura y la sintaxis para dicho archivo:
robotstxt.org Cita:
Iniciado por severicks 
en especial he escuchado que con ese archivo se le puede decir al robot cada cuanto tiempo regrese a inspecionar el sitio de nuevo,
Eso es un mito.
No se puede dar tal directiva desde ese archivo.
De hecho, Google determina cual es la frecuencia de rastreo para cada sitio.