También hay meta tags que sirven para indicar a las arañas que deben seguir indexando. Lo que pasa es que Google es un poco anarquista, e indexa pasando un poco de todo
Apostaría que ignora todos los meta tags y el robots.txt.
Por otro lado, eso del robots.txt está un poco desfasado y no sé yo si hay muchos robots que se acuerden que existe.
Joe Tawers,
<a href="http://www.ilimit.com/towers">http://www.ilimit.com/towers</a>