Recursos bloqueados por robots.txt

alexander_sp · #1 (**permalink**) 26/04/2017, 05:39

Hola a todos,

que recursos o paginas de wordpress creéis que son los idóneos para bloquear con el archivo robot.txt????

para mejorar la crawlabilidad o el Crawl budget

Saludos!

Daniel Ulczyk · #2 (**permalink**) 28/04/2017, 05:35

Con independencia de la estructura del sitio suelo empezar con un archivo robots.txt que tiene una estructura como la siguiente:

Código HTML:

Ver originalUser-agent: *
Disallow: /?s=
Disallow: /search
Disallow: /feed
Disallow: /*/feed/
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /comments/feed
Disallow: /tag/
Disallow: /*/comment-page-1/

Espero te sea útil