Ver Mensaje Individual
  #5 (permalink)  
Antiguo 09/03/2010, 15:13
Jabin
 
Fecha de Ingreso: febrero-2008
Ubicación: /home/public_html
Mensajes: 551
Antigüedad: 16 años, 2 meses
Puntos: 10
Respuesta: Duda robots.txt

Esas condicionales asterisco punto asterisco el mismo Google, hace con su sitemap, haber chqueen su robot "google.com/robots.txt" veran que hay unas cuantas que si utiliza.

Pero saben que yo he utilizado algo similar pero el problema, es que google de igual manera pasa y me ha indexado, esas URLs que no deseo, ya que se duplican triplican.

En mi caso quiero que no me indexen algo asi "laweb.com/usuario-500" ya que usuarios 501, 502 o tambien "contactar-200", total yo hice algo asi y no funciono.

Cita:
User-Agent: *

Disallow: /usuario*
Disallow: /contactar*
Disallow: /imagen*

User-agent: Mediapartners-Google*
Disallow: