Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Google indexa lo que he bloqueado con robots.txt

Estas en el tema de Google indexa lo que he bloqueado con robots.txt en el foro de SEO en Foros del Web. Hola Últimamente google me esta indexando los directorios que he bloqueado con robots.txt. Lógicamente el archivo está situado en la raiz del dominio. Y según ...
  #1 (permalink)  
Antiguo 13/12/2010, 03:42
 
Fecha de Ingreso: febrero-2004
Ubicación: Mediterraneo
Mensajes: 64
Antigüedad: 18 años, 3 meses
Puntos: 2
Google indexa lo que he bloqueado con robots.txt

Hola

Últimamente google me esta indexando los directorios que he bloqueado con robots.txt.

Lógicamente el archivo está situado en la raiz del dominio.

Y según las herramientas de webmasters google lo lee correctamente.


Del dominio
http://www.midominio.com/robots.txt

Archivo robots.txt

User-agent: *
Disallow: /archivo.php
Disallow: /directorio1/
Disallow: /directorio2/
Disallow: /directorio3/
Disallow: /directorio 4/archivo.pdf

etc...

Como véis es una estructura de lo más normal

Pues me ha indexado

http://www.midominio.com/archivo.php
y
http://www.midominio.com/directorio1/
http://www.midominio.com/directorio2/
http://www.midominio.com/directorio4/archivo.pdf


Evidentemente son nombres de ejemplo con el objeto que veáis la estructura.

¿Sabéis por que me indexa lo que bloqueo con el archivo robots.txt?

Gracias

Última edición por almez; 13/12/2010 a las 03:49
  #2 (permalink)  
Antiguo 13/12/2010, 13:43
 
Fecha de Ingreso: noviembre-2010
Mensajes: 174
Antigüedad: 11 años, 5 meses
Puntos: 12
Respuesta: Google indexa lo que he bloqueado con robots.txt

Hace cuanto tiempo lo haz bloqueado? Como estas comprobando que google tiene indexadas o no las urls de tu blog?

Mis preguntas son porque en el panel de Webmaster Tools se toman su tiempo para actualizar la información, entonces a veces aunque te diga que siguen indexados algunos contenidos esto no es así.

Para comprobar que paginas tiene google indexadas de tu web simplemente escribes en la caja de busquedas:
site:www.tusite.com

Ahi verificas de forma más exacta si estan idenxadas o no las páginas.

Si todo esta bien, entonces en las paginas de los directorios debes añadir una metaetiqueta que las bloqueara: es la metatag "robots" con el valor no-index, no follow, no archive. Te pongo como se escribe:

<meta name="robots" content="noindex, nofollow, noarchive" />

-Saludos! :)
  #3 (permalink)  
Antiguo 13/12/2010, 16:56
 
Fecha de Ingreso: febrero-2004
Ubicación: Mediterraneo
Mensajes: 64
Antigüedad: 18 años, 3 meses
Puntos: 2
Respuesta: Google indexa lo que he bloqueado con robots.txt

Gracia por comentar _Seolibre

Lógicamente veo las páginas indexadas con la opción site:

Hablo de un par de dominios nuevos a los que le he añadido el robots.txt desde antes de estar indexados.

Y en las herramientas de webmaster puedo confirmar que el archivo robots.txt lo lee correctamente google.

Tras indicar lo de la meta etiqueta con noindex, nofollow, noarchive me pregunto si no es totalmente efectivo el archivo robots.txt.

La comodidad del archivo robots.txt es que puedes bloquear un directorio y todo su contenido en lugar de añadir la etiqueta meta a todos los archivos incluidos dentro de los directorios.

Mi pregunta es si también a vosotros google os ha indexado archivos que tenéis bloqueados con robots.txt y, si es así, hasta que punto es efectivo este archivo.
  #4 (permalink)  
Antiguo 13/12/2010, 17:13
Avatar de chemabes  
Fecha de Ingreso: agosto-2009
Ubicación: Barcelona
Mensajes: 99
Antigüedad: 12 años, 8 meses
Puntos: 6
Respuesta: Google indexa lo que he bloqueado con robots.txt

A google no le hace ninguna gracia que le prohiban indexar una pagina....
Por eso a veces se resiste a obedecer al robots, por heavy que parezca la afirmacion. Puede llegar a tardar mucho mucho en hacerle caso...

El consejo de Seolibre es correcto: añade la meta en cada página, te acabará funcionando. Lo unico que puedes hacer es forzar a Google, darle todas las señales posibles de que no quieres que indexe esa página.

En funcion del contenido que estés intentando reservar, podrías incluso aplicar restricciones al acceso, tipo passwords, registros, validaciones, etc
__________________
BUSCO COLABORADORES SEO:
¿Tienes un Blog? ¿Sabrías conseguir links de calidad? ¿Generar tráfico? ¿Traducciones?
  #5 (permalink)  
Antiguo 13/12/2010, 17:42
 
Fecha de Ingreso: febrero-2004
Ubicación: Mediterraneo
Mensajes: 64
Antigüedad: 18 años, 3 meses
Puntos: 2
Respuesta: Google indexa lo que he bloqueado con robots.txt

Gracias chemabes

Si, había pensado en poner restricciones de acceso, tipo passwords, registros, validaciones con htaccess para ciertas carpetas... quiza me decante por esta solución que parece la mas rápida y efectiva. Pensé que robots.txt era más fiable.

Un saludo
  #6 (permalink)  
Antiguo 13/12/2010, 18:44
 
Fecha de Ingreso: noviembre-2010
Mensajes: 174
Antigüedad: 11 años, 5 meses
Puntos: 12
Respuesta: Google indexa lo que he bloqueado con robots.txt

@Almez: Yo justo estos días estoy teniendo una "experiencia" con Robots.txt, he bloqueado un directorio de una web y nada, google sigue visitando cada link... lo veo claro porque es un directorio con más de 500,000 ULRs, cuando ocurrio la primera vez (que este es 2do directorio bloqueado) google no le hizo caso al robots.txt así que añadimos las meta-etiquetas y como arte de magia, ya ni recibimos ninguna visita desde buscadores a esas páginas. Fue fácil en mi caso trabajar tantas páginas porque es un theme de joomla así que se edita una vez para toda la sección :)

Por alguna razón que yo desconozco google a veces no le hace caso al robots.txt :)
  #7 (permalink)  
Antiguo 14/12/2010, 04:03
 
Fecha de Ingreso: febrero-2004
Ubicación: Mediterraneo
Mensajes: 64
Antigüedad: 18 años, 3 meses
Puntos: 2
Respuesta: Google indexa lo que he bloqueado con robots.txt

Gracias por el dato _Seolibre.

Un Saludo
  #8 (permalink)  
Antiguo 14/12/2010, 17:43
 
Fecha de Ingreso: julio-2010
Mensajes: 52
Antigüedad: 11 años, 9 meses
Puntos: 3
Respuesta: Google indexa lo que he bloqueado con robots.txt

Hola almez, es dificil deducir a ciencia cierta el motivo de esta indexación.

Estoy totalmente de acuerdo con las recomendaciones que has recibido, a demás, puedes eliminar url del directorio de google a través de las herramientas para webmaster.

Herramientas para webmaster > Información del sitio > Acceso de rastreadores > Eliminar url

No confíes nunca la seguridad de tus carpetas a tus archivos robots.txt
  #9 (permalink)  
Antiguo 14/12/2010, 17:46
Avatar de RBZ
RBZ
Moderador
 
Fecha de Ingreso: noviembre-2005
Ubicación: Sevilla España
Mensajes: 11.559
Antigüedad: 16 años, 6 meses
Puntos: 2053
Respuesta: Google indexa lo que he bloqueado con robots.txt

El robots.txt es una recomendación para Google nunca lo toma como una orden... si hay algún enlace (interno o externo) hacia las páginas bloqueadas ignorará el bloqueo.
__________________
Sevilla monumentos de Sevilla Fotos de la ciudad
ViajeV

Etiquetas: bloqueado, google, posicionamiento-seo
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 06:48.