JAJAJA bueno va una mas
Cita: pero desde hace años cuando una url no quiero que se indexe no me fío de robots.txt y uso otras medidas
Cuando dices que se indexe te refieres a que esté esa url en el indice, y eso no tiene nada que ver con el robots.txt para eso esta el meta noindex
Es que en robots.txt indicas que páginas debe rastrear ( o indexar su contenido)
GOOGLE dice:
Cita: no rastreará ni indexará el contenido bloqueado por robots.txt,
habla de que no
indexará el contenido pero no tiene nada que ver con que tenga en su indice esa url.
Aunque le pongas un disavow a una url, si está indexada no la elimina, sólo elimina el contenido
El robots.txt no elimina ni agrega urls al indice, solo le indicas de que urls debe o no debe leer el contenido ( rastrear ).