Foros del Web » Estrategias Digitales y Negocios Online » SEO »

¿ Que les parece ese Robots.txt ?

Estas en el tema de ¿ Que les parece ese Robots.txt ? en el foro de SEO en Foros del Web. Hola muchachos de Forosdelweb quería preguntarles que les parece este Robots.txt que he creado según ustedes y su conocimiento en Seo que le cambiarían o ...
  #1 (permalink)  
Antiguo 27/07/2013, 20:46
Avatar de Andres128  
Fecha de Ingreso: marzo-2012
Mensajes: 12
Antigüedad: 7 años, 7 meses
Puntos: 0
¿ Que les parece ese Robots.txt ?

Hola muchachos de Forosdelweb quería preguntarles que les parece este Robots.txt que he creado según ustedes y su conocimiento en Seo que le cambiarían o le quitarían. De antemano muchas gracias a los que puedan responderme.

Código:
Sitemap: http://www.miweb.com/sitemap.xml

User-agent: *
Allow: /wp-content/uploads/ 
Allow: /feed/$ 
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: /category/
Disallow: /tag/
Disallow: /search
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /comments/
Disallow: /wp-content/plugins 
Disallow: /wp-content/themes/ 
Disallow: /?s= 
Disallow: /*/feed/$ 
Disallow: /*/feed/rss/$ 
Disallow: /*/trackback/$ 
Disallow: /*/*/feed/$ 
Disallow: /*/*/feed/rss/$ 
Disallow: /*/*/trackback/$ 
Disallow: /*/*/*/feed/$ 
Disallow: /*/*/*/feed/rss/$ 
Disallow: /*/*/*/trackback/$ 

User-agent: Googlebot 
Disallow: /*.php$ 
Disallow: /*.js$ 
Disallow: /*.inc$ 
Disallow: /*.css$ 
Disallow: /*.gz$ 
Disallow: /*.wmv$ 
Disallow: /*.cgi$ 
Disallow: /*.xhtml$ 
Disallow: /*?* 
Disallow: /*.txt$ 

User-agent: Mediapartners-Google* 
Disallow: 

User-agent: Googlebot-Image 
Disallow: 

User-agent: MSIECrawler 
Disallow: / 

User-agent: WebCopier 
Disallow: / 

User-agent: HTTrack 
Disallow: / 

User-agent: Microsoft.URL.Control 
Disallow: / 

User-agent: libwww 
Disallow: / 
 
User-agent: duggmirror 
Disallow: / 

User-agent: noxtrumbot 
Crawl-delay: 50 

User-agent: msnbot 
Crawl-delay: 30 

User-agent: Slurp 
Crawl-delay: 10
  #2 (permalink)  
Antiguo 28/07/2013, 08:21
Avatar de Daniel Ulczyk
Moderador
 
Fecha de Ingreso: febrero-2005
Ubicación: Buenos Aires
Mensajes: 9.222
Antigüedad: 14 años, 8 meses
Puntos: 2093
Respuesta: ¿ Que les parece ese Robots.txt ?

No le veo mucho sentido a estas líneas:

Cita:
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*?*
Disallow: /*.txt$
En especial atención a lo que tiene que ver ¿PHP? eso está del lado del servidor. Los agentes de usuario rastrean e indexan el documento Web generado no la fuente.
Por lo demás, ni Javascript ni CSS compiten en alguna medida con el contenido duplicado.
Por lo visto lo has escrito para un sitio basado en WordPress ¿restringir el acceso a la plantilla y a los plugins? Esas áreas vulnerables—en grado sumo—a ataques, debés bloquearlas desde .htaccess; no hay que confundir con lo que crawlers hace o deja de hacer.
__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit)
  #3 (permalink)  
Antiguo 28/07/2013, 09:00
Avatar de exatienda  
Fecha de Ingreso: julio-2013
Ubicación: Manresa, Barcelona
Mensajes: 227
Antigüedad: 6 años, 4 meses
Puntos: 21
Respuesta: ¿ Que les parece ese Robots.txt ?

Quizás eres demasiado restrictivo con los buscadores, especialmente con Googlebot. En las secciones admin de wordpress (wp-admin) no hace falta un disallow ya que para acceder al admin hace falta el usuario y la contraseña y los crawlers nunca informan estos valores por lo que nunca llegarán a indexar más allá de la pantalla de login.

Creo que tu mismo te estás cerrando puertas y incluso hay crawlers que les prohibes la indexación a nivel de raíz de dominio...
__________________
cajas rack tpvs | impresoras
  #4 (permalink)  
Antiguo 29/07/2013, 00:47
Avatar de Andres128  
Fecha de Ingreso: marzo-2012
Mensajes: 12
Antigüedad: 7 años, 7 meses
Puntos: 0
Respuesta: ¿ Que les parece ese Robots.txt ?

Muchas gracias Daniel Ulczyk y Exatienda por sus respuestas :) le he quitado lo que me aconsejaron y lo he dejado así: Que les parece:

Código:
Sitemap: http://www.miweb.com/sitemap.xml

User-agent: *
Allow: /wp-content/uploads/ 
Allow: /feed/$ 
Disallow: /cgi-bin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: /category/
Disallow: /tag/
Disallow: /search
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /comments/
Disallow: /wp-content/plugins 
Disallow: /wp-content/themes/ 
Disallow: /?s= 
Disallow: /*/feed/$ 
Disallow: /*/feed/rss/$ 
Disallow: /*/trackback/$ 
Disallow: /*/*/feed/$ 
Disallow: /*/*/feed/rss/$ 
Disallow: /*/*/trackback/$ 
Disallow: /*/*/*/feed/$ 
Disallow: /*/*/*/feed/rss/$ 
Disallow: /*/*/*/trackback/$ 

User-agent: Googlebot 


User-agent: Mediapartners-Google* 
Disallow: 

User-agent: Googlebot-Image 
Disallow: 

User-agent: MSIECrawler 
Disallow: / 

User-agent: WebCopier 
Disallow: / 

User-agent: HTTrack 
Disallow: / 

User-agent: Microsoft.URL.Control 
Disallow: / 

User-agent: libwww 
Disallow: / 
 
User-agent: duggmirror 
Disallow: / 

User-agent: noxtrumbot 
Crawl-delay: 50 

User-agent: msnbot 
Crawl-delay: 30 

User-agent: Slurp 
Crawl-delay: 10
Si Daniel Ulczyk este robots.txt es para una web hecha en wordpress.
  #5 (permalink)  
Antiguo 29/07/2013, 04:20
Avatar de exatienda  
Fecha de Ingreso: julio-2013
Ubicación: Manresa, Barcelona
Mensajes: 227
Antigüedad: 6 años, 4 meses
Puntos: 21
Respuesta: ¿ Que les parece ese Robots.txt ?

Lo veo un poco mejor que antes aunque yo quitaría los Disallow: / de todos los buscadores, de acuerdo que el 80% del tránsito web és Google pero no menosprecies el resto de buscadores.

Si te sirve de ayuda, yo tengo wordpress como web principal y no hago ningún disallow en el robots.txt y nunca me he encontrado que los crawlers indexen algo que no quiero.
__________________
cajas rack tpvs | impresoras

Última edición por exatienda; 29/07/2013 a las 04:31

Etiquetas: google, url
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta

SíEste tema le ha gustado a 1 personas




La zona horaria es GMT -6. Ahora son las 20:39.