Pues para que te indexen todos no tienes que incluir el fichero robots.txt
Es precisamente para lo contrario, el fichero robots.txt restringe el acceso a los distintos direcctorios.
ejemplos:
User-agent: *
Disallow: /enlaces/
Restringe el acceso de todos los robots a el directorio enlaces de tu Web.
www.dominio.com/enlaces
User-agent: googlebot
Disallow: /link/
Restringe el acceso de Googlebot al directorio link de tu Web.
www.dominio.com/link
Si no es asi que me corrijan.
