Cita:
Iniciado por PosicionamientoSeo 
si creas el archivo robots.txt le estás ordenando de manera restrictiva que se deben indexar todas las secciones de tu sitio.
Gabriel
Tu semántica carece de sentido.
Una vez que el crawler entra a la URL, comienza a seguir los links.
De otra manera, en mi anterior, cité la URL de robotstxt.org; consultálo, por favor. No existe tal cosa como el
allow que mencionás.
En un ejemplo, dice claramente:
Cita: as there is no "Allow" field
No existe un campo Allow (...)
Salúte!