Hola, por defecto incluye todo el contenido, la directiva Allow no es necesaria, al menos no en el directorio raiz:
Cita: # robots.txt for http://www.example.com/
User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear
Disallow: /foo.html