Foros del Web » Estrategias Digitales y Negocios Online » SEO »

[SOLUCIONADO] Archivo robots.txt

Estas en el tema de Archivo robots.txt en el foro de SEO en Foros del Web. Hola buenos dias amigos. subi una web a internet pero la verdad esque no me manejo en el tema del archivo robots.txt asique me fui ...
  #1 (permalink)  
Antiguo 03/08/2013, 20:23
teniasaginata
Invitado
 
Mensajes: n/a
Puntos:
Información Archivo robots.txt

Hola buenos dias amigos.
subi una web a internet pero la verdad esque no me manejo en el tema del archivo robots.txt asique me fui a una pagina que te la da. el asunto que la carpeta administracion de mi sitio web no quiero que google la indexe. me pregunto si este codigo estara protegida la carpeta administracion.
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: twiceler
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Crawl-delay: 120
Disallow: /administracion/
Sitemap: http://www.miweb.com/sitemap.xml

Saludos y gracias.
  #2 (permalink)  
Antiguo 04/08/2013, 01:16
Avatar de exatienda  
Fecha de Ingreso: julio-2013
Ubicación: Manresa, Barcelona
Mensajes: 227
Antigüedad: 10 años, 8 meses
Puntos: 21
Respuesta: Archivo robots.txt

Si la carpeta /administracion está dentro de "http://(...).tudominio.ext/administracion" el robots.txt que planteas es correcto :)
__________________
cajas rack tpvs | impresoras
  #3 (permalink)  
Antiguo 04/08/2013, 05:46
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Archivo robots.txt

Te recomiendo que sintetices el robots.txt y lo dejes tal que así:

Cita:
User-agent: *
Disallow: /administracion/
Sitemap: http://www.miweb.com/sitemap.xml
De esta forma estás diciendo a todos los bots que no indexen el contenido del directorio "administracion", ya que de la forma que tú lo pones, a pesar de hacer la misma función, pones muchos bots especificandolos, pudiéndolo dejar con una acción general para todos.
  #4 (permalink)  
Antiguo 04/08/2013, 05:53
Avatar de lauser
Moderator Unix/Linux
 
Fecha de Ingreso: julio-2013
Ubicación: Odessa (Ukrania)
Mensajes: 3.278
Antigüedad: 10 años, 7 meses
Puntos: 401
Respuesta: Archivo robots.txt

Si, pero google entiende Disallow:... como recomendación, no como obligación.
__________________
Los usuarios que te responden, lo hacen altruistamente y sin ánimo de lucro con el único fin de ayudarte. Se paciente y agradecido.
-SOLOLINUX-
  #5 (permalink)  
Antiguo 04/08/2013, 06:21
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Archivo robots.txt

Cita:
Iniciado por lauser Ver Mensaje
Si, pero google entiende Disallow:... como recomendación, no como obligación.
Por norma general, Google no suele indexar las carpetas que en el robots.txt especificas con un "disallow".

No obstante, se puede compaginar con el uso de la metaetiqueta "noindex".
  #6 (permalink)  
Antiguo 04/08/2013, 14:09
teniasaginata
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Archivo robots.txt

Ok muchas gracias a todos los que se tomaron la molestia de aclararme mi duda, por el momento no he acotado el archivo, pero ya entiendo que esta correcto y ademas a las pagina sdentro de la carpeta administracion les coloque la meta etiqueta: "noindex".
nuevamente gracias y marcamos el tema como solucionado.
saludos
  #7 (permalink)  
Antiguo 04/08/2013, 15:57
Avatar de RBZ
RBZ
Moderador
 
Fecha de Ingreso: noviembre-2005
Ubicación: Sevilla España
Mensajes: 11.559
Antigüedad: 18 años, 4 meses
Puntos: 2053
Respuesta: Archivo robots.txt

Cita:
Iniciado por Juan Carlos Ver Mensaje
Por norma general, Google no suele indexar las carpetas que en el robots.txt especificas con un "disallow".

(...)
Siempre que no existan enlaces apuntando a las carpetas lo respeta.
__________________
Sevilla monumentos de Sevilla Fotos de la ciudad
ViajeV

Etiquetas: carpetas, google, indexacion
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 00:50.