Acabo de buscar un simulador de robots.txt y mira lo que me encontré:
http://www.xml-sitemaps.com/se-bot-simulator.html
Pongo tu URL y nada, definitivamente nada.
Y peor aún, usando la linea de comandos con curl/wget y tampoco arroja nada.
Definitivamente tienes problemas graves, no sabría que decirte ni por dónde ir, desde que no podemos leer como está tu programación resulta complicado orientarte.