Foros del Web » Estrategias Digitales y Negocios Online » SEO »

saber si mi robots es correcto

Estas en el tema de saber si mi robots es correcto en el foro de SEO en Foros del Web. que tal maestros del SEO solo pedirles un favorsote, pueden echarle un ojo a mi robots.txt para saber si esta bien, si debo agregar/quitar/cambiar algo ...
  #1 (permalink)  
Antiguo 04/04/2012, 11:54
Avatar de catpaw  
Fecha de Ingreso: mayo-2010
Ubicación: xalapa
Mensajes: 856
Antigüedad: 13 años, 10 meses
Puntos: 23
saber si mi robots es correcto

que tal maestros del SEO

solo pedirles un favorsote, pueden echarle un ojo a mi robots.txt

para saber si esta bien, si debo agregar/quitar/cambiar algo

por favor

gracias

robots.txt

Código:
User-agent: *
Allow: /
Disallow:
Disallow: /access/
Disallow: /administracion/
Disallow: /ckeditor/
Disallow: /conexion_mysql/
Disallow: /css/
Disallow: /js/
Disallow: /source/
Sitemap: http://www.buzonxalapa.com/sitemap.xml  

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /access/
Disallow: /administracion/
Disallow: /ckeditor/
Disallow: /conexion_mysql/
Disallow: /css/
Disallow: /js/
Disallow: /source/

User-agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Allow: /
Disallow:
Disallow: /access/
Disallow: /administracion/
Disallow: /ckeditor/
Disallow: /conexion_mysql/
Disallow: /css/
Disallow: /js/
Disallow: /source/

User-agent: Slurp
Allow: /
Disallow:
Disallow: /access/
Disallow: /administracion/
Disallow: /ckeditor/
Disallow: /conexion_mysql/
Disallow: /css/
Disallow: /js/
Disallow: /source/

User-agent: Scooter
Allow: /
Disallow:
Disallow: /access/
Disallow: /administracion/
Disallow: /ckeditor/
Disallow: /conexion_mysql/
Disallow: /css/
Disallow: /js/
Disallow: /source/

User-agent: duggmirror
Disallow: /

User-agent: wget
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 30

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 30
  #2 (permalink)  
Antiguo 04/04/2012, 12:03
 
Fecha de Ingreso: febrero-2012
Ubicación: México
Mensajes: 227
Antigüedad: 12 años, 1 mes
Puntos: 48
Respuesta: saber si mi robots es correcto

El asterisco (*) es un comodín. No tendrías que, además del comodín, especificar las mismas reglas una y otra vez para los distintos crawlers.

Vale también para crawl-delay.

Con excepción de las repeticiones innecesarias, es correcto.
  #3 (permalink)  
Antiguo 04/04/2012, 12:06
Avatar de catpaw  
Fecha de Ingreso: mayo-2010
Ubicación: xalapa
Mensajes: 856
Antigüedad: 13 años, 10 meses
Puntos: 23
Respuesta: saber si mi robots es correcto

hola gracias por tu pronta respuesta, entonces quedaría:

Código:
User-agent: *
Allow: /
Disallow:
Disallow: /access/
Disallow: /administracion/
Disallow: /ckeditor/
Disallow: /conexion_mysql/
Disallow: /css/
Disallow: /js/
Disallow: /perfiles/
Disallow: /source/
Crawl-delay: 30 
Sitemap: http://www.buzonxalapa.com/sitemap.xml

User-agent: duggmirror
Disallow: /

User-agent: wget
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /
  #4 (permalink)  
Antiguo 10/04/2012, 10:32
 
Fecha de Ingreso: febrero-2011
Mensajes: 7
Antigüedad: 13 años, 1 mes
Puntos: 0
Respuesta: saber si mi robots es correcto

para que es esto del robot?
  #5 (permalink)  
Antiguo 10/04/2012, 10:36
 
Fecha de Ingreso: noviembre-2007
Mensajes: 403
Antigüedad: 16 años, 4 meses
Puntos: 26
Respuesta: saber si mi robots es correcto

Para indicarle a google cuales web quieres que visite y cuales no... es un tanto resumido, pero mas o menos es eso...
__________________
Posicionamiento Seo | Views
  #6 (permalink)  
Antiguo 10/04/2012, 13:18
Avatar de catpaw  
Fecha de Ingreso: mayo-2010
Ubicación: xalapa
Mensajes: 856
Antigüedad: 13 años, 10 meses
Puntos: 23
Respuesta: saber si mi robots es correcto

a mi me sirvió mucho esta pagina

http://www.emezeta.com/articulos/rob...#axzz1r5Ooi4LV
  #7 (permalink)  
Antiguo 11/04/2012, 00:56
 
Fecha de Ingreso: agosto-2009
Mensajes: 52
Antigüedad: 14 años, 7 meses
Puntos: 4
Respuesta: saber si mi robots es correcto

Hola catpaw, chequea páginas como esta: http://www.searchenginepromotionhelp...ts-checker.php. Puedes testear el efecto de las reglas del robots.txt contra un determinado sitio web.
__________________
programador web

Etiquetas: correcto, google, robots, url
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 23:12.