Gracias a todos por vuestras respuestas.
Cita:
Iniciado por lauser 
Se supone, insisto "se supone", que robots.txt indica que no se debe rastrear, no indexar (es evidente que si no se rastrea no se indexa). No es lo mismo. De todas formas no es una ciencia cierta, pues muchos se saltan a la torera el robots.txt.
Vale, robots.txt indica lo que no debe rastrear... entonces, ¿qué indica sitemaps.xml?