Hola RBZ, efectivamente
Cita: Crea una url nueva, bloquéala desde robots.txt y enlázala desde algún sitio (por ejemplo la firma del foro). En poco tiempo aparecerá indexada (sí, indexada no rastreada) de la misma forma que muestra Daniel Ulczyk en su captura de pantalla.
Pero Daniel dice:
Cita: No es cierto eso que Google no rastrea las restricciones en robots.txt
Por si no me he expresado bien lo que estoy diciendo yo es que el robots.txt afecta al rastreo ( se le puede indicar que sitios de tu web no quieres que sean rastreados y por quien no quieres que sean rastreados, por defecto si se rastrea ).
Creo que hay que decir que google si sigue las indicaciones del robots.txt, y si le pones un disavow a una página googlebot no la rastrea desde ese momento.
http://www.robotstxt.org/robotstxt.html https://support.google.com/webmaster.../6062608?hl=es
No pretendo crear ninguna polémica, quizá la confusión entre lo que es rastreo y lo que es indexación
Modifico mi respuesta porque se puede interpretar que estoy siendo grosero y no lo pretendo.
Un saludo