Google indexa lo que he bloqueado con robots.txt

[almez]

Hola

Últimamente google me esta indexando los directorios que he bloqueado con robots.txt.

Lógicamente el archivo está situado en la raiz del dominio.

Y según las herramientas de webmasters google lo lee correctamente.


Del dominio
http://www.midominio.com/robots.txt

Archivo robots.txt

User-agent: *
Disallow: /archivo.php
Disallow: /directorio1/
Disallow: /directorio2/
Disallow: /directorio3/
Disallow: /directorio 4/archivo.pdf

etc...

Como véis es una estructura de lo más normal

Pues me ha indexado

http://www.midominio.com/archivo.php
y
http://www.midominio.com/directorio1/
http://www.midominio.com/directorio2/
http://www.midominio.com/directorio4/archivo.pdf


Evidentemente son nombres de ejemplo con el objeto que veáis la estructura.

¿Sabéis por que me indexa lo que bloqueo con el archivo robots.txt?

Gracias

[_Seolibre]

Hace cuanto tiempo lo haz bloqueado? Como estas comprobando que google tiene indexadas o no las urls de tu blog?

Mis preguntas son porque en el panel de Webmaster Tools se toman su tiempo para actualizar la información, entonces a veces aunque te diga que siguen indexados algunos contenidos esto no es así.

Para comprobar que paginas tiene google indexadas de tu web simplemente escribes en la caja de busquedas:
site:www.tusite.com

Ahi verificas de forma más exacta si estan idenxadas o no las páginas.

Si todo esta bien, entonces en las paginas de los directorios debes añadir una metaetiqueta que las bloqueara: es la metatag "robots" con el valor no-index, no follow, no archive. Te pongo como se escribe:

<meta name="robots" content="noindex, nofollow, noarchive" />

-Saludos! :)

[almez]

Gracia por comentar _Seolibre

Lógicamente veo las páginas indexadas con la opción site:

Hablo de un par de dominios nuevos a los que le he añadido el robots.txt desde antes de estar indexados.

Y en las herramientas de webmaster puedo confirmar que el archivo robots.txt lo lee correctamente google.

Tras indicar lo de la meta etiqueta con noindex, nofollow, noarchive me pregunto si no es totalmente efectivo el archivo robots.txt.

La comodidad del archivo robots.txt es que puedes bloquear un directorio y todo su contenido en lugar de añadir la etiqueta meta a todos los archivos incluidos dentro de los directorios.

Mi pregunta es si también a vosotros google os ha indexado archivos que tenéis bloqueados con robots.txt y, si es así, hasta que punto es efectivo este archivo.

[chemabes]

A google no le hace ninguna gracia que le prohiban indexar una pagina....
Por eso a veces se resiste a obedecer al robots, por heavy que parezca la afirmacion. Puede llegar a tardar mucho mucho en hacerle caso...

El consejo de Seolibre es correcto: añade la meta en cada página, te acabará funcionando. Lo unico que puedes hacer es forzar a Google, darle todas las señales posibles de que no quieres que indexe esa página.

En funcion del contenido que estés intentando reservar, podrías incluso aplicar restricciones al acceso, tipo passwords, registros, validaciones, etc

[almez]

Gracias chemabes

Si, había pensado en poner restricciones de acceso, tipo passwords, registros, validaciones con htaccess para ciertas carpetas... quiza me decante por esta solución que parece la mas rápida y efectiva. Pensé que robots.txt era más fiable.

Un saludo

[_Seolibre]

@Almez: Yo justo estos días estoy teniendo una "experiencia" con Robots.txt, he bloqueado un directorio de una web y nada, google sigue visitando cada link... lo veo claro porque es un directorio con más de 500,000 ULRs, cuando ocurrio la primera vez (que este es 2do directorio bloqueado) google no le hizo caso al robots.txt así que añadimos las meta-etiquetas y como arte de magia, ya ni recibimos ninguna visita desde buscadores a esas páginas. Fue fácil en mi caso trabajar tantas páginas porque es un theme de joomla así que se edita una vez para toda la sección :)

Por alguna razón que yo desconozco google a veces no le hace caso al robots.txt :)

[almez]

Gracias por el dato _Seolibre.

Un Saludo

[TutexMdz]

Hola almez, es dificil deducir a ciencia cierta el motivo de esta indexación.

Estoy totalmente de acuerdo con las recomendaciones que has recibido, a demás, puedes eliminar url del directorio de google a través de las herramientas para webmaster.

Herramientas para webmaster > Información del sitio > Acceso de rastreadores > Eliminar url

No confíes nunca la seguridad de tus carpetas a tus archivos robots.txt

[RBZ]

El robots.txt es una recomendación para Google nunca lo toma como una orden... si hay algún enlace (interno o externo) hacia las páginas bloqueadas ignorará el bloqueo.