27/04/2010, 07:32
|
| | | Fecha de Ingreso: enero-2009
Mensajes: 198
Antigüedad: 15 años, 2 meses Puntos: 13 | |
| Robots.txt correcto en Wordpress
Hola, estoy tratando de eliminar la indexación de la paginación de comentarios en Wordpress, y me gustaría saber si alguien me podría echar una mano para conocer si el siguiente robots es correcto en todos los sentidos, no sólo para evitar la indexación de los comentarios en sí:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-
Disallow: /?s=
Disallow: /search
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*comment-page-*
Disallow: /*all-comments*
Disallow: /*/*/*/trackback/$
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
Les agradecería cualquier tipo de ayuda, ya que tengo mis dudas sobre si la línea Disallow: /*comment-page-* está correctamente utilizada. |