Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Duda robots.txt

Estas en el tema de Duda robots.txt en el foro de SEO en Foros del Web. Busque pero no encontré específicamente esto. Algún experto podria indicarme como hacerlo? Instale un script del que quiero bloquear unas url's que genera: mipunto.com/?cbg=yniraytghhrhhs;cynargnmbeenfpbz; Como ...
  #1 (permalink)  
Antiguo 06/03/2010, 22:32
 
Fecha de Ingreso: febrero-2006
Mensajes: 72
Antigüedad: 18 años, 1 mes
Puntos: 2
Duda robots.txt

Busque pero no encontré específicamente esto. Algún experto podria indicarme como hacerlo?
Instale un script del que quiero bloquear unas url's que genera:
mipunto.com/?cbg=yniraytghhrhhs;cynargnmbeenfpbz;

Como hago, asi?
Disallow: /?cbg=*
o
Disallow: /?cbg
o
Disallow: /?*

Edito: Otra pregunta:

para evitar que indexe paginas duplicadas x ejemplo:
mipunto.com/cat/cat1/page/2/
seria, disallow: /*/*/page/*

esa es la menera de utilizar los comodines?.


Desde ya muchas gracias.

Última edición por lugano; 07/03/2010 a las 10:06
  #2 (permalink)  
Antiguo 07/03/2010, 19:01
Avatar de Daniel Ulczyk
Super Moderador
 
Fecha de Ingreso: febrero-2005
Ubicación: Buenos Aires
Mensajes: 9.263
Antigüedad: 19 años, 1 mes
Puntos: 2114
Respuesta: Duda robots.txt

Cita:
Iniciado por lugano Ver Mensaje
esa es la menera de utilizar los comodines?.
¿Comodines en robots.txt?
Eso está fuera del protocolo. De incluirlo, los bots los saltarán y seguirán de largo.
__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit)
  #3 (permalink)  
Antiguo 08/03/2010, 01:58
Avatar de Emirodgar  
Fecha de Ingreso: junio-2008
Mensajes: 1.255
Antigüedad: 15 años, 9 meses
Puntos: 121
Respuesta: Duda robots.txt

Para evitar el contenido duplicado es mucho mejor hacer una redirección 301 o en su defecto usar el atributo rel canonical que no bloquearlo con el robots.txt

Sobre lo del asterisco no puedo aportar mucho por que nunca lo he usado de ese modo.
__________________
Sígueme en Twitter @Emirodgar | Diseño web Salamanca |¿Necesitas humor ?
  #4 (permalink)  
Antiguo 08/03/2010, 06:25
 
Fecha de Ingreso: febrero-2006
Mensajes: 72
Antigüedad: 18 años, 1 mes
Puntos: 2
Respuesta: Duda robots.txt

Buenas,

Se me ocurrió que bloqueando con robots dejaria de rastrear estas url conflictivas.
Lo que ocurre es que este tipo de url -mi.com/?fbg=tbbtyrpbzzk;- son aleatorias y apuntan al index, no tengo acceso al código porque es zend.
Podria condicionarlas con un if leyendo la url ya que "?cbg=" siempre está, pero lo que viene luego no se como capturarlo.

Algunas pistas para continuar?...
Gracias por responder.
  #5 (permalink)  
Antiguo 09/03/2010, 15:13
 
Fecha de Ingreso: febrero-2008
Ubicación: /home/public_html
Mensajes: 551
Antigüedad: 16 años, 1 mes
Puntos: 10
Respuesta: Duda robots.txt

Esas condicionales asterisco punto asterisco el mismo Google, hace con su sitemap, haber chqueen su robot "google.com/robots.txt" veran que hay unas cuantas que si utiliza.

Pero saben que yo he utilizado algo similar pero el problema, es que google de igual manera pasa y me ha indexado, esas URLs que no deseo, ya que se duplican triplican.

En mi caso quiero que no me indexen algo asi "laweb.com/usuario-500" ya que usuarios 501, 502 o tambien "contactar-200", total yo hice algo asi y no funciono.

Cita:
User-Agent: *

Disallow: /usuario*
Disallow: /contactar*
Disallow: /imagen*

User-agent: Mediapartners-Google*
Disallow:
  #6 (permalink)  
Antiguo 09/03/2010, 15:18
Avatar de Daniel Ulczyk
Super Moderador
 
Fecha de Ingreso: febrero-2005
Ubicación: Buenos Aires
Mensajes: 9.263
Antigüedad: 19 años, 1 mes
Puntos: 2114
Respuesta: Duda robots.txt

Cita:
Iniciado por Jabin Ver Mensaje
total yo hice algo asi y no funciono.
Obvio! Se salta el protocolo.
Mejor, estudiarse bien las reglas de juego: The Web Robots Pages
__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit)
  #7 (permalink)  
Antiguo 10/03/2010, 20:31
 
Fecha de Ingreso: julio-2008
Mensajes: 57
Antigüedad: 15 años, 8 meses
Puntos: 3
Respuesta: Duda robots.txt

Yo puse el otro día los asteriscos y sabía que no está en el protocolo, pero buscando encontré un par de sitios que decían que Google sí los entendía y hacía caso, y efectivamente ya me salen en Herramientas para webmasters 206 urls restringidas, puse esto:
Disallow: /foro/viewpost.php*

Yahoo no miré, pero Bing no lo interpreta. ¿sabeís como podría hacer para que Bing no rastrease las urls que comenzasen por lo anterior, porque son bastantes (más de 600).

Edito, creo que sería lo mismo, pero sin el asterisco ¿no?, Entonces si se quisiese restringir sólo esa url primera y no las que la tienen al principio /foro/viewpost.php?viewmode...... y similares ¿cómo sería?

Última edición por FireAndIce; 10/03/2010 a las 20:41

Etiquetas: posicionamiento-seo
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 12:59.