Desindexar paginas desde robots.txt

[dforo]

Hola,

Me da algunos problemas mi web en herramientas google, algunos enlaces 404 que produce la plantilla de mi foro entre otras urls, como puedo decirle a los robots que miren en todo mi sitio excepto en unas determinadas urls (no directorios, solo urls concretas), y asi indicarle una por una las urls que no quiero que encuentre?

Yo no he subido mi pagina a google ni a ningun buscador sin embargo me sale en las busquedas y no la tengo acabada, esto puede perjudicarme?

Saludos y muchas gracias.

[dforo]

Nadie puede echarme una mano? :(

Gracias

[santiagoanuncios]

hola, te pongo un ejemplo

User-Agent: *
Disallow: /motor/*


Esto le dice a los bots que no indexen todas las webs del dominio en cuestion que esten dentro de directorio motor/

[dforo]

Gracias, pero el caso es que esas urls están en el mismo directorio del foro osea en .../foro/ si le capo el rastreo me quedo sin paginas del foro en los buscadores :(

De todos modos gracias Santiagoanuncios :)

[santiagoanuncios]

Hola, pues ponle la direccion que no queires que rastree.

User-Agent: *
Disallow: /motor/lawebquesea.html

[dforo]

Asi por ejemplo?


User-Agent: *
Disallow: /foro/berenjenas-cosmicas.html;msg%msg_id%
/foro/berberechos-condensados.html;msg%msg_id%
etc,etc....

Asi estaria bien?

Saludos

[santiagoanuncios]

User-Agent: *
Disallow: /foro/berenjenas-cosmicas.html
Disallow:/foro/berberechos-condensados.html
etc,etc....

[dforo]

Hola gracias de nuevo,

El caso es que no se porque, pero se genera ese tipo de urls en mi foro, y son las que me están amargando con este tema, y el archivo original se llama berberechos-condensados.html osea que tampoco me encontraria la fuente del enlace, y este si quiero que se vea porque no me da problemas y puede traerme alguna visita...entonces poner el ;msg%msg_id% no sirve para nada?

Sabeis a que puede deberse esto?

Saludos y gracias

[santiagoanuncios]

Hola si el msg_id es un parámetro que le pasas con un get y no queires que se indexen las urls con ese parametro ponle algo asi.

User-Agent: *
Disallow: /*msg_id*

Pero toda url que contenga esa palabra ( msg_id ) no la indexara el bot del buscador que sea.


Un saludo

[dforo]

Puedo probarlo entonces, por lo visto son paginas diferentes, y seguro que las toma como copia, mientras no afecte a los enlaces que no tienen ese indicador,..entonces con ese simple codigo en mi robots.txt, google indexará cualquier enlace que encuentre salvo los que tengan ese termino, no?

Gracias de nuevo y saludos :)

[santiagoanuncios]

Asi es, google y los demas buscaodres.

[dforo]

Muchas gracias Santiago, te tendré informado pues :)

Saludos !!

[dforo]

Ya está hecho, tambien le añadí un sitemap.xml(generado online), lo edité a mano para sacar las url's repetidas que genera el foro, pero si tengo que hacer siempre lo mismo lo tengo claro, asi que esperaré a ver si funciona la solución que me has dado y hago lo mismo este tipo de urls sort=views,sort=replies‎‎, es que me salen muchos errores en herramientas de webmaster:

Errores de HTTP 18

No se ha encontrado 14

Metadescripciones duplicadas 7

Metadescripciones cortas 22 ( no se donde añadirle las metadescripciones al foro smf)

Etiquetas de titulo duplicadas 8

Con lo bien que me iba, que recien iniciar la web salia entre los 4 primeros resultados, y fué instalar el foro y salir del ranking para mis keywords fuertes :/, en fin... muchas gracias de nuevo ;)

Saludos

[dforo]

Holas,

Parece que funciona :), he tenido que agregar unos cuantos disallow mas porque habian otras finalizaciones que clonaban las paginas, ahora en errores me salen "URL's restringidas por Robots.txt", es normal que avise de eso,no? osea que aunque salga en la pagina que muestra los errores (vision general de herramientas de webmaster google) no es un error, si no un error subsanado, verdad? :)

Muchas gracias por la ayuda como siempre ;)