Las directivas contenidas en el archivo robots.txt son de caracterer restrictivo. Esto es, sólo hay que declarar donde no queremos que rastreen los bots.
Siempre sostengo, que califique como para ser indexado; es otra cosa...
En mi ejemplo, podés poner así: