hola a todos, resulta que tengo un foro smf y estoy depurando el contenido duplicado que este genera, dentro de las reglas en el archivo robots.txt tengo lo siguiente
Código:
User-agent: *
Disallow: /foro/Sources
Disallow: /foro/Smileys
Disallow: /foro/Packages
Disallow: /foro/avatars
Disallow: /foro/attachments
Disallow: /foro/Themes
Disallow: /foro/index.php?action=printpage
Disallow: /foro/index.php?action=post
Disallow: /foro/profiles/*.html;sa,showPosts
Disallow: /foro/profiles/*.html;sa,statPanel
Disallow: /foro/*/;sort=last_post;desc
Disallow: /foro/*/;sort=starter;desc
Disallow: /foro/*/;sort=subject
Disallow: /foro/*/;sort=subject;desc
Disallow: /foro/*/;sort=views
Disallow: /foro/*/;sort=views;desc
Disallow: /foro/*/;sort=starter;desc
Disallow: /foro/*/;sort=subject;desc
Disallow: /foro/*/;wap2=
Disallow: /foro/*.html;wap2=
lo anterior me funciona perfectamente, pero hay algunas urls que seme han colado y no encuentro como evitar su indexacion. las urls en cuestion tienen esta forma
primer pagina del tema
seo4smf-instalar-simplemachinesforum-url-legibles-tutorial-definitivo-t4591.
0.html
segunda apgina
eo4smf-instalar-simplemachinesforum-url-legibles-tutorial-definitivo-t4591.
15.html
tercera..
eo4smf-instalar-simplemachinesforum-url-legibles-tutorial-definitivo-t4591.
45.html
como puede observarsees solamente un id el que diferencia la url, y precisamente es lo qu ehace que se generen contenido duplicado, pues en cada pagina de respuestas aparecen las mismas meta tags. aun que uso la tag canonical, no me sirve pues apunta a la url con contenido duplicado, ej
<link rel="canonical" href="/foro/promocion-y-posicionamiento-en-buscadores/seo4smf-instalar-simplemachinesforum-url-legibles-tutorial-definitivo-t4591.
30.html" />
mi dud es como puedo agregar una regla al robots.txt para que solamente indexela url de la primera apgina
seo4smf-instalar-simplemachinesforum-url-legibles-tutorial-definitivo-t4591.
0.html
y excluir las demas
