Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Robots.txt correcto en Wordpress

Estas en el tema de Robots.txt correcto en Wordpress en el foro de SEO en Foros del Web. Hola, estoy tratando de eliminar la indexación de la paginación de comentarios en Wordpress, y me gustaría saber si alguien me podría echar una mano ...
  #1 (permalink)  
Antiguo 27/04/2010, 08:32
 
Fecha de Ingreso: enero-2009
Mensajes: 198
Antigüedad: 10 años, 9 meses
Puntos: 13
Robots.txt correcto en Wordpress

Hola, estoy tratando de eliminar la indexación de la paginación de comentarios en Wordpress, y me gustaría saber si alguien me podría echar una mano para conocer si el siguiente robots es correcto en todos los sentidos, no sólo para evitar la indexación de los comentarios en sí:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-
Disallow: /?s=
Disallow: /search
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*comment-page-*
Disallow: /*all-comments*
Disallow: /*/*/*/trackback/$
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10

Les agradecería cualquier tipo de ayuda, ya que tengo mis dudas sobre si la línea Disallow: /*comment-page-* está correctamente utilizada.
  #2 (permalink)  
Antiguo 27/04/2010, 09:41
Avatar de Emirodgar  
Fecha de Ingreso: junio-2008
Mensajes: 1.255
Antigüedad: 11 años, 5 meses
Puntos: 121
Respuesta: Robots.txt correcto en Wordpress

Esto es de un experto en optimización de Wordpress, seguro que podrás comparar y encontrar cosas interesantes

Código:
#
# robots.txt para tu blog en WordPress.
#
# Usar bajo propia responsabilidad, que nos conocemos }:)
# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml
#

# Primero el contenido adjunto.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/

# También podemos desindexar todo lo que empiece 
# por wp-. Es lo mismo que los Disallow de arriba pero
# incluye cosas como wp-rss.php

Disallow: /wp-

#
# Sitemap permitido, búsquedas no.
#

Sitemap: http://tu-web/sitemap.xml
Disallow: /?s=
Disallow: /search

#
# Permitimos el feed general para Google Blogsearch.
#
# Impedimos que permalink/feed/ sea indexado ya que el
# feed con los comentarios suele posicionarse en lugar de
# la entrada y desorienta a los usuarios.
#
# Lo mismo con URLs terminadas en /trackback/ que sólo
# sirven como Trackback URI (y son contenido duplicado).
#

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

#
# A partir de aquí es opcional pero recomendado.
#

# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante...
# Añadir al gusto del consumidor...

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

#
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir 
# subiendo hasta el punto óptimo.
#

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10
Fuente: Sigt

Tal vez esto también te sirva, htaccess para optimizar wordpress.
__________________
Sígueme en Twitter @Emirodgar | Diseño web Salamanca |¿Necesitas humor ?
  #3 (permalink)  
Antiguo 28/04/2010, 05:45
 
Fecha de Ingreso: enero-2009
Mensajes: 198
Antigüedad: 10 años, 9 meses
Puntos: 13
Respuesta: Robots.txt correcto en Wordpress

Gracias Emirodgar!

Me has ayudado mucho :D
  #4 (permalink)  
Antiguo 28/04/2010, 11:21
Avatar de alelilo  
Fecha de Ingreso: abril-2010
Mensajes: 4
Antigüedad: 9 años, 6 meses
Puntos: 0
Respuesta: Robots.txt correcto en Wordpress

Ok amigos justo lo que anda buscando.

Una duda:

Cual es la sintaxis en el robots.txt para restringir las url que llevan signo de interrogacion despues del la barra (dominio/?) ?

Etiquetas: wordpress
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 08:52.