Ver Mensaje Individual
  #4 (permalink)  
Antiguo 02/11/2008, 19:48
Avatar de luisvasquez
luisvasquez
 
Fecha de Ingreso: diciembre-2003
Ubicación: Venezuela
Mensajes: 879
Antigüedad: 20 años, 5 meses
Puntos: 6
Respuesta: URL restringida por robots.txt

Hola Amigos,

Yo tengo un problema similar, pero no es con Blogger sino con mi propio dominio.

En una oportunidad tuve que borrar TODO el contenido del indice de google eliminando el sitemap y usando la opción "Eliminación de URL" - "Su sitio web íntegro" de las herramientas del webmaster de google. Para ello tuve que poner un archivo robots.txt que cuyo contenido era el siguiente:

User-Agent: Googlebot
Disallow: /

Al día siguiente ya no había nada en el indice.

Luego de unos días quise incorporar de nuevo el contenido. Agregué el sitemap, use de nuevo la opción "Eliminación de URL" y en la pestaña "Contenido eliminado" le di "Cancelar". Para ello agregué un archivo robots que contiene lo siguiente:

User-Agent: *
Allow: /


Teoricamente debería incluir TODO el contenido que había eliminado (casi 500 urls), pero sólo incorporó 55 urls.

En los diagnosticos aparece lo siguiente

Errores de URL en sitemaps ‎(162)‎ y URL restringidas por robots.txt ‎(178)‎

Al hacer clic en cada vínculo me dice (en ambos casos) que las URL están restringidas por robots.txt.

Pensé que era cuestión de días, pero hace más de un mes y el asunto sigue igual. Google pasa cada día, lee el archivo robots.txt y lee el sitemap, pero la situación no cambia en abosoluto. Sólo 55 urls indexadas.

Tienen alguna idea de lo que pueda ser?

Agradeciendo de antemano su ayuda,
Luis Vásquez