Cita:
Iniciado por Daniel Ulczyk 
Tu semántica carece de sentido.
Una vez que el crawler entra a la URL, comienza a seguir los links.
De otra manera, en mi anterior, cité la URL de robotstxt.org; consultálo, por favor. No existe tal cosa como el
allow que mencionás.
En un ejemplo, dice claramente:
No existe un campo Allow (...)
Salúte!
Hola
Daniel Ulczyk
Mis expresiones anteriores tienen sentido.
Lo que quise expresar en dicha respuesta es que el archivo
robots.txt tiene un comportamiento de caracter restrictivo, es decir,
establece restricciones a los robots de motores de búsqueda.
Al establecer
restricciones, puede restringir el acceso a determinadas páginas que no se desean que se indexen, esto se hace a través de declaraciones en dicho archivo.
Si no se establecen declaraciones en el archivo de restricción, Google seguirá todos los enlaces de la Web (es decir no se restringe ninguna sección).
En otras palabras mi sugerencia surge del problema que el creador del tema tiene: supuestamenteun sitio en el cual no se le indexan las secciones.
Ante este tipo de problemática, uno de los inconvenientes posibles para la indexación es que ya haya creado un archivo
robots.txt con restricciones que les impide a dichos robots acceder a determinadas páginas.
Al crear y sobreescribir dicho archivo con el archivo nuevo que sugerí se eliminaría el problema.
Sin embargo, estuvo muy bien tu aclaración y detalle, ya que con ese archivo no se estaría ordenando a Google que indexe todos los Sitios, ya que lo hace por defecto, pero lo que sí es cierto
es que puede solucionar la problemática anteriormente descripta, borrando el archivo anterior con restricciones.
Por último cabe aclarar que
la declaración "Allow" si existe y es específica dentro del archivo, es decir que sirve para describir que sección o archivo se debe indexar.
Su funcionalidad es
inversa a Disallow y se
utiliza de la misma manera.
Por lo tanto, está muy bien tu aclaración, pero aún así el archivo es válido y sirve para solucionar por ejemplo el problema descripto en esta respuesta.
Hay una lectura muy sencilla y muy buena que también está en inglés y que les será de utilidad:
http://sitemaps.blogspot.com/2006/02/using-robotstxt-file.html Versión traducida: http://translate.google.com/translat...stxt-file.html
En la misma podrás encontrar Dani la descripción de la extensión
allow y mucha información interesante.
Un saludo cordial y espero haber ayudado
Gabriel