¿Cómo evitar que Robots.txt no afecte el SEO en Wordpress ?

[ghidalgoram]

Hola colegas

A la fecha de esta publicación, está la versión 4.2 de Wordrpress. Todos sabemos lo delicado que es el archivo robots.txt Una mala configuración y podría afectar el SEO del sitio.


¿Cuáles 'reglas' son adecuadas para configurar el archivo robots.txt sin que afecte el SEO?

He leído varios foros recomendaciones para configurarlo en Wordpress. Algunos dicen que solo se puede denegar la carpeta wp-admin. Otros dice que no. Otros que hay nueva regla de Google sobre los archivos .JS y .CSS


Actualmente, yo le configuré así:

Código [robots.txt]:

User-agent: *
Disallow: /wp-admin
Sitemap: http://www.example.com/sitemap_index.xml
 

Gracias.
Agradezco sus recomendaciones.

[franciscomarin]

Este es mi robots.txt:

Código robots.txt:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /trackback/
Disallow: /comments/
Disallow: */trackback/
Disallow: */comments/
Disallow: wp-login.php
Disallow: wp-signup.php
 

Eso si, ten por seguro que cualquier robots.txt afectará al SEO. Pero la cosa es que haya páginas que no se muestren en los buscadores porque no son relevantes ni interesantes (como la administración, el login, etc.)

[ghidalgoram]

Hola amigo franciscomarin

Una pregunta amigo. De donde o como sacaste esa reglas para el archivo robots.txt ? Es basado en tu experiencia o de algún sitio ?

Leí un artículo donde el conocido Yoast indica que solamente utiliza la siguiente regla:

Código:

User-Agent: *
Disallow: /out/

Este es el link http://torquemag.io/wordpress-robots-txt-seo/ con el título "What experts are doing ?"

Extraño que Wordpress no sugiera un modelo a seguir para esta archivo tan importante.

Saludos !

[franciscomarin]

Y yo te pregunto... ¿que es /out/?
Ese directorio no es de WordPress, o al menos de una instalación limpia de WordPress.

Y ya sin hablar que Yoast no me gusta en absoluto.

Ese robots.txt lo he ido construyendo con el tiempo y más o menos se ha quedado así, no hay ninguna fuente si no que es de muchas fuentes y basandome en mi propia experiencia. Ahora mismo es el que uso en todos sitios.

[ghidalgoram]

Pues si, tienes razón con respecto a esa carpeta "out".

Gracias por compartirnos tu valiosísima experiencia.
Gracias por tu ayuda.
Saludos franciscomarin.