URL restringida por robots.txt

[warwom]

Hola, tengo un blog con aproximadamente 100 entradas. Pero al entrar en google/webmasters, en el apartado de Diagnóstico> Rastreo Web, me van aumentando las URL restringidas por robots.txt.

Al principio solo era una pero ya son 29. Me he dado cuenta que las URl restringidas coinciden con las 29 categorias/etiquetas en que tengo clasificadas las entradas. ¿He de hacer caso a este dato,y si lo hago , como lo puedo modificar para que no estén restringidas. O no he de tener en cuenta este diagnóstico de google/webmasters, porque es normal que restringa las etiquetas?

Os dejo como ejemplo una de las páginas que tienen la URL resringida por robots.txt

http://fotos-barcelona.blogspot.com/.../Las%20Ramblas

Gracias

[Daniel Ulczyk]

Efectivamente, sucede así.
Google determina esa auto-exclusión (el usuario no tiene potestad sobre las restricciones en el robots.txt para los blogs alojados en Blogger) a fin de evitar re-indexar las entradas. Esto es, evitar el contenido duplicado.
Esta advertencia, en este caso, hay que pasarla por alto.

[warwom]

Muchas gracias, Daniel.

Me quedo más tranquilo. Estaba preocupado por este tema, porque no llegaba a entender porque lo restringía. Tiene su lógica, tal como me lo has explicado.

Saludos y gracias.

[luisvasquez]

Hola Amigos,

Yo tengo un problema similar, pero no es con Blogger sino con mi propio dominio.

En una oportunidad tuve que borrar TODO el contenido del indice de google eliminando el sitemap y usando la opción "Eliminación de URL" - "Su sitio web íntegro" de las herramientas del webmaster de google. Para ello tuve que poner un archivo robots.txt que cuyo contenido era el siguiente:

User-Agent: Googlebot
Disallow: /

Al día siguiente ya no había nada en el indice.

Luego de unos días quise incorporar de nuevo el contenido. Agregué el sitemap, use de nuevo la opción "Eliminación de URL" y en la pestaña "Contenido eliminado" le di "Cancelar". Para ello agregué un archivo robots que contiene lo siguiente:

User-Agent: *
Allow: /


Teoricamente debería incluir TODO el contenido que había eliminado (casi 500 urls), pero sólo incorporó 55 urls.

En los diagnosticos aparece lo siguiente

Errores de URL en sitemaps ‎(162)‎ y URL restringidas por robots.txt ‎(178)‎

Al hacer clic en cada vínculo me dice (en ambos casos) que las URL están restringidas por robots.txt.

Pensé que era cuestión de días, pero hace más de un mes y el asunto sigue igual. Google pasa cada día, lee el archivo robots.txt y lee el sitemap, pero la situación no cambia en abosoluto. Sólo 55 urls indexadas.

Tienen alguna idea de lo que pueda ser?

Agradeciendo de antemano su ayuda,
Luis Vásquez

[RBZ]

Tienes el archivo robots.txt al revés, cuando dices allow (permitir) es que especificas que permites, si lo dejas en blanco es como decir que no permites nada.

[luisvasquez]

Gracias RBZ,

Permiteme tratar de entender esto.

Mi robots.txt actual es este

User-Agent: *
Allow: /

Yo creí que al colocar "/" estaba diciendo "TODO". ¿No es así?

¿cómo debería ser? ¿Me das una mano?

Saludos y gracias,
Luis Vásquez

[RBZ]

Perdona luisvasquez, me he liado yo sólo, lo tienes correcto, espero no haberte liado más.

Usas las herramientas para webmaster de google, en "Análisis de robots.txt" puedes comprobar que lo tienes correcto o si google detecta algún otro error.

[luisvasquez]

Gracias RBZ,

En realidad me hubiese gustado haberme equivocado para poder corregir, pero no veo nada que corregir y es eso lo que me preocupa...

En las herramientas de google dice algo como "esto no suele ser un error". Por supuesto, porque google está pensando que YO deseo restringir las URLs. Estoy comenzando a desesperarme con esto, porque todo iba muy bien hasta que decidí eliminar el contenido para incorporarlo luego.

Saludos y gracias
Luis Vásquez

[tacnoce]

Mira ya qeu hablamos de restricciones, en el indice de google, me aparecen estas:
http://sobrevivirenlaweb.blogspot.com/search/label/exito%20web
http://sobrevivirenlaweb.blogspot.com/...ch/label/ganar%20dinero%20en%20internet


Son 9, y mis entradas no son muchas,(hasta ahora llevo 8 dias con mi blog), quisiera saber por que es todas esta el serarch, y si esto perjudica a mis entradas directas como:
http://sobrevivirenlaweb.blogspot.com/2008/10/como-ganar-dinero-por-internet.html


no entiendo que es lo que me estan restringiendo gracias por su colaboracion.

[RBZ]

Blogspot restringe los tags para evitar contenido duplicado.