Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Problemas con robot.txt

Estas en el tema de Problemas con robot.txt en el foro de SEO en Foros del Web. Actualmente el contenido de mi robot.txt es: User-agent: * Allow: / Por lo que los buscadores deberian poder indexar correctamente todas las paginas de la ...
  #1 (permalink)  
Antiguo 26/04/2012, 05:12
 
Fecha de Ingreso: julio-2011
Mensajes: 63
Antigüedad: 12 años, 9 meses
Puntos: 2
Pregunta Problemas con robot.txt

Actualmente el contenido de mi robot.txt es:

User-agent: *
Allow: /

Por lo que los buscadores deberian poder indexar correctamente todas las paginas de la web.. El problema es que desde "Herramientas para webmasters" me sale que hay 5 url bloqueadas:

A que se debe esto??

Un saludo.
  #2 (permalink)  
Antiguo 26/04/2012, 08:29
Avatar de Daniel Ulczyk
Super Moderador
 
Fecha de Ingreso: febrero-2005
Ubicación: Buenos Aires
Mensajes: 9.263
Antigüedad: 19 años, 1 mes
Puntos: 2114
Respuesta: Problemas con robot.txt

Si el contenido de robots.txt no ha cambiado, deberás—necesariamente—buscar documentos con la etiqueta "noindex".
__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit)
  #3 (permalink)  
Antiguo 26/04/2012, 08:42
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Problemas con robot.txt

Además, el "Allow: /" del robots.txt es totalmente prescindible, y es imprescindible que lo ayudes añadiendo la url del Sitemap.
  #4 (permalink)  
Antiguo 26/04/2012, 09:02
 
Fecha de Ingreso: julio-2011
Mensajes: 63
Antigüedad: 12 años, 9 meses
Puntos: 2
Respuesta: Problemas con robot.txt

Lo que hecho es crear una web nueva para un dominio en el que anteriormente habia otra web, otro servidor, etc.. Al subir la nueva web me he encontrado que el posicionamiento esta bajando y los errores que comento del sitemap y del robot.txt..

Creo que la he liado parda porque si hago site:dominio.com sale la pagina antigua indexada!! Que debo hacer?? Borro todas esas url??

Juan Ca:

He subido un sitemap a traves del servicio de Webmasters.. Pero tambien estoy teniendo problemas (solo ha indexado 2 paginas de 33 y esta en estado Pendiente).

Daniel:

Es una pagina web hecha en Word Press por lo que no deberia tener "no-index", de todas maneras voy a escanear todo el codigo fuente haber si encuentro algo raro.. Debo incluir el sitemap al robot.txt??

Algo mas que pueda hacer??

Gracias por los aportes.

Última edición por gasuco; 26/04/2012 a las 09:46
  #5 (permalink)  
Antiguo 26/04/2012, 11:57
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Problemas con robot.txt

Por lo que se refiere a las páginas que te salen bloqueadas, ten en cuenta que desde las WMT te muestran las URL's bloqueadas en los últimos 90 días, por lo que si alguna vez bloqueaste alguna en ese periodo de tiempo, ahí lo tienes, y sino, basta con esperarte a que pase la fecha y se te ponga a 0.

Cita:
Iniciado por gasuco Ver Mensaje
He subido un sitemap a traves del servicio de Webmasters.. Pero tambien estoy teniendo problemas (solo ha indexado 2 paginas de 33 y esta en estado Pendiente).
Es normal que si la web es nueva sólo te haya indexado ese porcentaje tan bajo, ten más paciencia.

Por lo que se refiere al estado "pendiente", éste calvario ya lo sufrí en mis propias carnes durante largo tiempo, y se solucionó por sí sólo, tanto que ya ni me aparece y actualizo el Sitemap a diario, indexándome todo lo que hago en pocas horas.

Cita:
Iniciado por gasuco Ver Mensaje
Debo incluir el sitemap al robot.txt??
Sí, es recomendable incluirlo. Te quedaría algo así:

Código HTML:
User-agent: *

Sitemap: http://www.tudominio.com/sitemap.xml

Última edición por Usuarios466; 26/04/2012 a las 12:24 Razón: Añadir más info a mi respuesta
  #6 (permalink)  
Antiguo 26/04/2012, 16:14
 
Fecha de Ingreso: julio-2011
Mensajes: 63
Antigüedad: 12 años, 9 meses
Puntos: 2
Respuesta: Problemas con robot.txt

Cita:
Por lo que se refiere a las páginas que te salen bloqueadas, ten en cuenta que desde las WMT te muestran las URL's bloqueadas en los últimos 90 días, por lo que si alguna vez bloqueaste alguna en ese periodo de tiempo, ahí lo tienes, y sino, basta con esperarte a que pase la fecha y se te ponga a 0.
Nunca habia bloqueado nada en el robot.txt..

El problema es que he cambiado el contenido del dominio completamente, esto ha afectado al SEO drasticamente.. Supongo que sera cuestion de tiempo para que se indexe el nuevo contenido y empieze a mejorar el SEO de nuevo, no??

Ahora si que he bloqueado las URL del contenido anterior y le he pedido a Google que las suprima!! Con el nuevo contenido he creado un Sitemap para que Google empieze a indexarlo.. Debo hacer algo mas? He hecho lo correcto? En cuanto tiempo puedo empezar a recuperar el SEO?

Salu2

Muchas gracias por los aportes tan cuidadosamente explicados.
  #7 (permalink)  
Antiguo 26/04/2012, 17:33
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Problemas con robot.txt

Según nos cuentas, ya has hecho lo que está en tu mano, ahora debes dejarlo un poco de lado y no obsesionarte en ello. Lo que necesitas es paciencia y tiempo, ya que para indexar y sobre todo desindexar, necesitas muchas paciencia. Pero todo llegará.

Por lo que respecta a bloquear el contenido anterior, es mejor que no lo bloquees, cuando pase Google y vea que no funciona (error 404) y pase una segunda o tercera vez, ya verá cómo está el tema y lo quitará.
  #8 (permalink)  
Antiguo 27/04/2012, 01:03
Avatar de pordos  
Fecha de Ingreso: abril-2012
Ubicación: Madrid
Mensajes: 302
Antigüedad: 12 años
Puntos: 57
Respuesta: Problemas con robot.txt

si has hecho una web nueva para el mismo dominio lo básico para mantener el posicionamiento era hacer redirecciones 301 de las urls antiguas a las nuevas, lo puedes hacer a nivel servidor, lo más correto, o en webmaster tool.

de esta forma google entiende que has cambiado la web y continua con el posiconamiento y empieza a indexar las nuevas.
__________________
Si te interesa la web, las redes sociales, el mundo internet, visítanos y encuentra manuales, noticias, opiniones...

Te ayudamos en tu estrategia web

Etiquetas: robot
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 23:09.