13/12/2010, 16:56
|
| | | Fecha de Ingreso: febrero-2004 Ubicación: Mediterraneo
Mensajes: 64
Antigüedad: 20 años, 2 meses Puntos: 2 | |
| Respuesta: Google indexa lo que he bloqueado con robots.txt
Gracia por comentar _Seolibre
Lógicamente veo las páginas indexadas con la opción site:
Hablo de un par de dominios nuevos a los que le he añadido el robots.txt desde antes de estar indexados.
Y en las herramientas de webmaster puedo confirmar que el archivo robots.txt lo lee correctamente google.
Tras indicar lo de la meta etiqueta con noindex, nofollow, noarchive me pregunto si no es totalmente efectivo el archivo robots.txt.
La comodidad del archivo robots.txt es que puedes bloquear un directorio y todo su contenido en lugar de añadir la etiqueta meta a todos los archivos incluidos dentro de los directorios.
Mi pregunta es si también a vosotros google os ha indexado archivos que tenéis bloqueados con robots.txt y, si es así, hasta que punto es efectivo este archivo. |