No entiendo lo del robots.txt, si no estoy mal informado el archivo robots.txt esta para indicarle a los buscadores que archivos o directorios le dejamos indexar, pero a no ser que me halla perdido algo no creo que tome datos de este archivo para poner en el cache.
Que alguien me corrija si es que me equivoco.