Ver Mensaje Individual
  #1 (permalink)  
Antiguo 03/08/2013, 20:23
teniasaginata
Invitado
 
Mensajes: n/a
Puntos:
Información Archivo robots.txt

Hola buenos dias amigos.
subi una web a internet pero la verdad esque no me manejo en el tema del archivo robots.txt asique me fui a una pagina que te la da. el asunto que la carpeta administracion de mi sitio web no quiero que google la indexe. me pregunto si este codigo estara protegida la carpeta administracion.
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: twiceler
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Crawl-delay: 120
Disallow: /administracion/
Sitemap: http://www.miweb.com/sitemap.xml

Saludos y gracias.