Cita: No, no, todo el contenido. Si hacías búsquedas con trozos del texto de la página, mostraba la url como resultado. Así que de ser un buscador respetable nada.
Cita: Como digo, si tengo tiempo para experimentos y vuelvo a comprobarlo te lo mostraré.
Te lo hago yo con una de mis webs
como muestra google una url bloqueada en robots.txt
https://www.google.es/search?q=site:...digo%3D3359276
hago una búsqueda con el contenido de esa url y:
https://www.google.es/search?q=site%...rera+de+jueces
Un saludo