Cita:
Iniciado por monky 
a ver voy a ir paso a paso que creo que este tema me va a llevar tiempo.
entonces entiendo que la solucion a estos errores esta en los que me salen en Sugerencias en HTML y para eliminarlos la unica solucion es crear dentro del robots.txt lineas "Disallow: /" ¿esto es asi? o tengo que hacer alguna otra cosa
lo primero que e hecho (si no esta bien por favor decirmelo):
1º las Metadescripciones duplicadas
la mayoria son de este tipo:
/profile/mtksn/
lo que e hecho es en el robots.txt añadirle
User-agent: Googlebot
Disallow: /profile
pero ahora tengo todos estos que no tengo claro como hacer
¿tengo que añadir una linea Disallow para cada enlace?
Código:
/båt/
/bírájtbekk/
/bölükyazı/page.html
/bölükyazıköyü/page.html
/bülbül/
/bıcak/
/bırakın/
/bůh/
/b'z/
/b.o.b/
/b00zii/
/b5/
/b9board/
/bağdere/page.html
/baɾsə/
/baaaybeeeh/
/baalte/
/baanodu/
/baba de cupim ecolopavi/
/baba_oriley/
/babaaa'm/
/babcia/
/babianas/
/babywerethrough/
/bacacho/
/bachaco/
/bachanalia/
/bacico/
/bacilon/
/back_the_bid/page.html
Claro que no!
en el momento que pones disallow al directorio superior "/profile/", tampoco va a mirar lo que está dentro de dicho directorio.
sería un trabajo enorme i sín sentido
me olvidé de decirte que tienes que modificar:
User-agent: Googlebot
Disallow: /profile
en
User-agent: Googlebot
Disallow: /profile/