nemesis866:
te hago una correción
esa directiva Allow, no corresponde
Los robots, lo indexan todo, a menos que se lo prohibas, por lo tanto
todo estará
"Allow" a menos que se lo nieges con un
Disallow
Para ejemplos consultar
http://www.robotstxt.org/robotstxt.html (está en inglés pero los ejemplos son muy claros)
Saludos