Errores de rastreo tras eliminación de directorio

Dani83 · #1 (**permalink**) 03/02/2012, 04:20

Buenos días,

He borrado de mi sitio (www.misitio.com) el directorio (www.misitio.com/foro). El caso es que en WMT de Google me sigue dando errores de rastreo porque tb tengo bloqueado el acceso a dicho directorio con el robots.txt.
¿Google no tendría que dejar de rastrear ese directorio?¿Cuanto tiempo tarda en olvidar el directorio eliminado?¿Debería dejar de bloquear el acceso con el robots.txt para que Google tome las páginas de dicho directorioy lea el error 404 para que deje de volver a rastrearlas?

Un saludo

RBZ · #2 (**permalink**) 03/02/2012, 10:07

Es correcto bloquear la carpeta desde el archivo robots.txt, Google se toma su tiempo en borrar definitivamente los errores... a veces es un poco como la ley de Murphy, si el servidor se cae borra el sitio en seguida, si quieres borrarlo tarda meses.

Juan Carlos · #3 (**permalink**) 03/02/2012, 11:21

Cita:

Iniciado por RBZ

Es correcto bloquear la carpeta desde el archivo robots.txt, Google se toma su tiempo en borrar definitivamente los errores... a veces es un poco como la ley de Murphy, si el servidor se cae borra el sitio en seguida, si quieres borrarlo tarda meses.

Pero con mi nueva fórmula, esos "meses" se transforman en "un suspiro".

Dani83 · #4 (**permalink**) 03/02/2012, 12:26

Hola!!

Gracias por vuestras respuestas, pero Juan Ca, cual es tu fórmula??. Por ahora veo que van bajando los errores de rastreo (url bloqueada por robots.txt).

Un saludo

Juan Carlos · #5 (**permalink**) 03/02/2012, 12:45

Pásate por aquí:

http://www.forosdelweb.com/f64/jugan...ts-txt-973375/

Dani83 · #6 (**permalink**) 07/02/2012, 09:42

Juan Ca, voy a probar tu método porque me siguen saliendo nuevos errores de rastreo (Url bloqueada por robotos.txt), a ver si consigo que Google se olvide ya del directorio /foro que he eliminado.
Ya te contaré los resultados.

Saludos!!

Juan Carlos · #7 (**permalink**) 07/02/2012, 09:49

Cita:

Iniciado por Dani83

Juan Ca, voy a probar tu método porque me siguen saliendo nuevos errores de rastreo (Url bloqueada por robotos.txt), a ver si consigo que Google se olvide ya del directorio /foro que he eliminado.

A ver, a ver, a ver...

Lo de que Google te ponga en las "Herramientas para Webmasters" que "Restringida por robots.txt" es normal. Te está diciendo que has puesto X páginas en "Disallow" desde el robots.txt.

Yo mismo cree hace un tiempo para un experimento una serie de páginas, 15 en total, y como explico en el otro topic, poniendo la url a partir de la carpeta, no pasó nada, y poniendo la url compelta, con el http y todo lo demás, en menos de una semana me desindexó Google la mitad de resultados. Volví a la fórmula del pasado y nada. Y ahora hace unos días lo volví a poner y sólo me quedan 5 resultados por desindexar.

Cuando ya Google haya desindexado todas las url de pruebas que cree, entonces ya eliminaré desde el robots.txt esas url que tengo puestas en "Disallow". Pero como te digo, mientras tanto es normal que te aparezcan esas "url bloqueada por robots.txt".

Dani83 · #8 (**permalink**) 08/02/2012, 01:10

Hola Juan Ca,

He probado a poner en el robots.txt la url completo (misitio.com/foro) en lugar de solo la carpeta /foro. Decirte que al ponerlo de esa forma Google toma como autorizado el acceso a esa carpeta.
Lo que no entiendo, es si ya he borrado el directorio de mi servidor, lo he borrado desde las WMT, y aún así Google sigue intentado rastrear esas Url.
Necesito saber cual es la forma correcta para que Google deje de intentar rastrear el directorio que he eliminado. Todas las Url dan error 404 pero al estar restringidas por robots.txt es posible que Google no sea capaz de enterarse de que esas Urls ya no llevan a ningún lado y por tanto no las elimine.

Saludos!!

Dani83 · #9 (**permalink**) 09/02/2012, 09:51

Juan Ca, entonces si al buscar mi sitio en Google ya no aparece ningún resultado de la carpeta /foro, ¿debo quitar la orden Disallow: /foro del robots.txt?

Un saludo

Juan Carlos · #10 (**permalink**) 09/02/2012, 10:07

Cita:

Iniciado por Dani83

entonces si al buscar mi sitio en Google ya no aparece ningún resultado de la carpeta /foro, ¿debo quitar la orden Disallow: /foro del robots.txt?

Si cuando haces un "site" de tu web especificando la carpeta "/foro" y ya no está indexada en Google, nada, entonces yo quitaría ya la orden "Disallow" del robots.txt.

Pero ya te digo, muchos la dejarían ahí, porque total, no te causa ningún problema.

Particularmente, yo la dejaría en el robots.txt un tiempo más después de la desindexación completa por parte de Google. ¿Por qué? Porque me ha dado el caso una vez que se ha desinxado una página de pruebas que quería que se desindexara y una vez borrada de Google y de mi robots.txt volvió a aparecer al poco tiempo, volviendo a hacer los mismos pasos, pero teniendola en el robots un poco más, hasta total disolución.