[SOLUCIONADO] Para que sirve robots.txt

[segma]

Hola, cada día que pasa flipo más con el google, estoy creando una página nueva, la doy de alta en un gestor de dominio y unas páginas que te dicen el whois de mi dominio no tardan en encontrarme, no me doy de alta en ningún sitio, pero google gracias a las páginas mencionadas anteriormente me dan de alta al lincar a mi web. Veo que empieza a indexar pongo el robot.txt Disallow: / pero a google le encanta indexar lo que no ha de indexar, ahora ya tengo 780 páginas mal indexadas y con contenido duplicado de .es y .com
¿Porque no le gusta esta directriz a google ? Disallow: /

¿Y para que sirve?

¿Sabéis como puedo eliminar todas las indexaciones? Si lo hago por webmastertools, luego la podré dar de alta fácilmente ?

Gracias un saludo.

[Usuarios466]

Se supone que al añadir lo siguiente en el robots.txt estás restringiendo el indexado en las SERPS de todo tu contenido:

User-agent: *
Disallow: /

Así pues, si quieres eliminar todas las páginas de golpe de Google, la opción más rápida y eficaz la encontrarás en las Herramientas para Webmasters:

Índice de Google > Eliminación de URL > Crear una nueva solicitud de eliminación > Continuar

[segma]

Hola Juan, si, se supone, pero me ha indexado igualmente. lo malo es que son 780 URL!!

Un saludo y gracias

[Usuarios466]

Iniciado por segma

si, se supone, pero me ha indexado igualmente. lo malo es que son 780 URL!!

Me remito a lo que te he comentado anteriormente, la forma más rápida y eficaz de eliminar las 780 URL's de Google es haciendo lo siguiente:

Iniciado por Juan Carlos

Herramientas para Webmasters:

Índice de Google > Eliminación de URL > Crear una nueva solicitud de eliminación > Continuar

[el_patillas]

Al crear mi web me paso lo mismo cuando me di cuenta tenia un montón de paginas indexadas a google y mal y tuve que borrarlas todas manualmente

[seodetenerife]

Amigo Google indexa el contenido que más le interesa, como comentas desde el archivo robots.txt puedes utilizar Disallow: / y en la cabecera de la url en cuestión también puedes colocar la meta-etiqueta
<meta name="robots" content="noindex, nofollow"/>
<meta name="googlebot" content="noindex"/>
Los buscadores se guían por los enlaces que tienes dentro de la web, mientras más enlaces apuntes a la web que tu no quieres indexar más problemas tendrás.
Consejo: Coloca en tus enlaces rel="nofollow" y las meta-etiquetas que describí más arriba. Esto nunca falla. Un saludo

[Usuarios466]

Iniciado por seodetenerife

<meta name="robots" content="noindex, nofollow"/>
<meta name="googlebot" content="noindex"/>

Con añadir únicamente la metatag "robots" es suficiente, ya que la otra es solamente específica para el robot de Google, mientras que la otra es genérica para todos (Google, Yahoo, Bing, y demás) inclusive Google.

Si aún añadiendo esa metatag y bloqueando la página desde el robots.txt no se desindexa el contenido, lo más rápido y eficaz es eliminar la página en concreto vía WMT.

[segma]

Muchas gracias, en resumen hay q poner todo meta y robots, lo que quería era que no empezase a indexar antes de crear la estructura de archivos, pero bueno, demasiado tarde :(

Un saludo y gracias a todos!!!