Con independencia de la estructura del sitio suelo empezar con un archivo robots.txt que tiene una estructura como la siguiente:
Código HTML:
Ver originalUser-agent: *
Disallow: /?s=
Disallow: /search
Disallow: /feed
Disallow: /*/feed/
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /comments/feed
Disallow: /tag/
Disallow: /*/comment-page-1/
Espero te sea útil
