Tema: Robots.txt
Ver Mensaje Individual
  #1 (permalink)  
Antiguo 03/01/2009, 11:36
Vitolo_1
 
Fecha de Ingreso: junio-2008
Mensajes: 93
Antigüedad: 15 años, 10 meses
Puntos: 1
Robots.txt

En una de las paginas que tengo uso Wordpress y queria prevenir el contenido duplicado. Normalmente (en mi caso al menos) las direcciones son:

www.dominio.com/articulo

Pero a ese mismo articulo se puede acceder desde:

www.dominio.com/category/nombrecategoria/articulo
www.dominio.com/tag/nombretag/ (muestra una lista)
www.dominio.com/fecha/articulo

Ahora bien, todo esto son posibles entradas a una misma entrada (conetnido duplicado), cosa que Google, al menos, no valora bien. Si pongo en mi Robotx.txt:

User-agent: Googlebot
Disallow: /2008/*
Disallow: /2009/*
Disallow: /*/feed/
Disallow: /category/*/*
Disallow: /category/*/*/*

En vez de:

User-agent: Googlebot
Disallow: /2008/*
Disallow: /2009/*
Disallow: /*/feed/

¿Seria correcto en cuanto a que Google lo valoraria mejor, o seria perjudicial para la indexacion de algunos articulos?


Creo que esto es un tema que le interesa (o deberia) a mucha gente, disculpen si me he equivocado de sub-foro. Muchas Gracias.