Foros del Web » Estrategias Digitales y Negocios Online » SEO »

[SOLUCIONADO] Para que sirve robots.txt

Estas en el tema de Para que sirve robots.txt en el foro de SEO en Foros del Web. Hola, cada día que pasa flipo más con el google, estoy creando una página nueva, la doy de alta en un gestor de dominio y ...
  #1 (permalink)  
Antiguo 10/09/2013, 10:24
 
Fecha de Ingreso: diciembre-2004
Mensajes: 296
Antigüedad: 15 años
Puntos: 1
Para que sirve robots.txt

Hola, cada día que pasa flipo más con el google, estoy creando una página nueva, la doy de alta en un gestor de dominio y unas páginas que te dicen el whois de mi dominio no tardan en encontrarme, no me doy de alta en ningún sitio, pero google gracias a las páginas mencionadas anteriormente me dan de alta al lincar a mi web. Veo que empieza a indexar pongo el robot.txt Disallow: / pero a google le encanta indexar lo que no ha de indexar, ahora ya tengo 780 páginas mal indexadas y con contenido duplicado de .es y .com
¿Porque no le gusta esta directriz a google ? Disallow: /

¿Y para que sirve?

¿Sabéis como puedo eliminar todas las indexaciones? Si lo hago por webmastertools, luego la podré dar de alta fácilmente ?

Gracias un saludo.
__________________
Visitar:
www.vinosyrecetas.com
www.galerias-arte.com
  #2 (permalink)  
Antiguo 10/09/2013, 10:28
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Para que sirve robots.txt

Se supone que al añadir lo siguiente en el robots.txt estás restringiendo el indexado en las SERPS de todo tu contenido:

Cita:
User-agent: *
Disallow: /
Así pues, si quieres eliminar todas las páginas de golpe de Google, la opción más rápida y eficaz la encontrarás en las Herramientas para Webmasters:

Índice de Google > Eliminación de URL > Crear una nueva solicitud de eliminación > Continuar
  #3 (permalink)  
Antiguo 10/09/2013, 12:58
 
Fecha de Ingreso: diciembre-2004
Mensajes: 296
Antigüedad: 15 años
Puntos: 1
Respuesta: Para que sirve robots.txt

Hola Juan, si, se supone, pero me ha indexado igualmente. lo malo es que son 780 URL!!

Un saludo y gracias
__________________
Visitar:
www.vinosyrecetas.com
www.galerias-arte.com
  #4 (permalink)  
Antiguo 10/09/2013, 15:51
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Para que sirve robots.txt

Cita:
Iniciado por segma Ver Mensaje
si, se supone, pero me ha indexado igualmente. lo malo es que son 780 URL!!
Me remito a lo que te he comentado anteriormente, la forma más rápida y eficaz de eliminar las 780 URL's de Google es haciendo lo siguiente:

Cita:
Iniciado por Juan Carlos Ver Mensaje
Herramientas para Webmasters:

Índice de Google > Eliminación de URL > Crear una nueva solicitud de eliminación > Continuar
  #5 (permalink)  
Antiguo 15/09/2013, 15:26
Avatar de el_patillas  
Fecha de Ingreso: agosto-2013
Ubicación: sevilla
Mensajes: 10
Antigüedad: 6 años, 3 meses
Puntos: 0
Respuesta: Para que sirve robots.txt

Al crear mi web me paso lo mismo cuando me di cuenta tenia un montón de paginas indexadas a google y mal y tuve que borrarlas todas manualmente
  #6 (permalink)  
Antiguo 15/09/2013, 19:53
 
Fecha de Ingreso: agosto-2013
Ubicación: Santa Cruz de Tenerife
Mensajes: 3
Antigüedad: 6 años, 3 meses
Puntos: 0
Respuesta: Para que sirve robots.txt

Amigo Google indexa el contenido que más le interesa, como comentas desde el archivo robots.txt puedes utilizar Disallow: / y en la cabecera de la url en cuestión también puedes colocar la meta-etiqueta
<meta name="robots" content="noindex, nofollow"/>
<meta name="googlebot" content="noindex"/>
Los buscadores se guían por los enlaces que tienes dentro de la web, mientras más enlaces apuntes a la web que tu no quieres indexar más problemas tendrás.
Consejo: Coloca en tus enlaces rel="nofollow" y las meta-etiquetas que describí más arriba. Esto nunca falla. Un saludo
  #7 (permalink)  
Antiguo 16/09/2013, 07:56
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Para que sirve robots.txt

Cita:
Iniciado por seodetenerife Ver Mensaje
<meta name="robots" content="noindex, nofollow"/>
<meta name="googlebot" content="noindex"/>
Con añadir únicamente la metatag "robots" es suficiente, ya que la otra es solamente específica para el robot de Google, mientras que la otra es genérica para todos (Google, Yahoo, Bing, y demás) inclusive Google.

Si aún añadiendo esa metatag y bloqueando la página desde el robots.txt no se desindexa el contenido, lo más rápido y eficaz es eliminar la página en concreto vía WMT.
  #8 (permalink)  
Antiguo 16/09/2013, 16:13
 
Fecha de Ingreso: diciembre-2004
Mensajes: 296
Antigüedad: 15 años
Puntos: 1
Respuesta: Para que sirve robots.txt

Muchas gracias, en resumen hay q poner todo meta y robots, lo que quería era que no empezase a indexar antes de crear la estructura de archivos, pero bueno, demasiado tarde :(

Un saludo y gracias a todos!!!
__________________
Visitar:
www.vinosyrecetas.com
www.galerias-arte.com

Etiquetas: contenido, dominio, google, página
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 20:53.