Dundee, disculpame, hacia tiempo que no entraba por aquí.
Dí por hecho que mi solución te serviria.
Yo utlizo ese archivo de robot.txt porque también uso marcos.
Despues de subirlo a tu directorio (no importa a cual) tienes que decirselo a google desde tu
cuenta de google , si aún no tienes, te recomiendo crear una, es muy útil.
Pero como ya ha pasado algún tiempo te voy a dar más opciones.
Antes que nada decirte que aunque le quites el titulo y meta tags google lo encontrará por el contenido y lo mostrará como
Recientemente he descubierto un metodo que es el siguiente:
Cita: <meta name="robots" content="index, follow" />
<meta name="googlebot" content="index, follow" />
Esas metas le dicen a los robots que usan los buscadores si tienen que indexarlas o no.
Explicación: Cita: <meta name="robots" content="index, follow" />
Aquí le dice a los robots que la indexe y la muestre en sus resultados, el follow es para que siga o no siga los enlaces que hay dentro de esa web.
<meta name="robots" content="noindex, nofollow" />
Aquí le dice que no la indexe ni la muestre en resultados ni siga los enlaces que pudiera haber dentro.
Espero que sirva, a ti y a los demás visitantes.