Construcción correcta del robots.txt

[lauri_lunae]

Hola,

Tengo unas dudas sobre la construcción del robots.txt; yo lo tengo construido así:

User-agent: *
Disallow: /carpeta_antigua/ficha.asp?id=424
Disallow: /carpeta_antigua/ficha.asp?id=425
Disallow: /carpeta_antigua/ficha.asp?id=426

Para que me bloquee esas páginas que son páginas antiguas que no quiero que estén indexadas.


He visto que algunos también añaden la etiqueta del sitemap:

User-agent: *
Sitemap:www.dominio.com/sitemap.xml
Disallow: /carpeta_antigua/ficha.asp?id=424
Disallow: /carpeta_antigua/ficha.asp?id=425
Disallow: /carpeta_antigua/ficha.asp?id=426

¿Cuál de las dos formas es la correcta? ¿O ambas están bien? En mi caso el sitemap se lo he indicado desde webmasters tools.


Luego también he incluido la meta etiqueta en mi dominio:
<meta name="robots" content="index,follow" />
¿Esta etiqueta tiene que ver con el robots.txt? O es simplemente para indicarle a los robots que pasen e indexen tu sitio... porque en el content los atributos pueden variar... es un lio.

Gracias de antemano y un saludo!

[globotec]

hola amigo como estas asi ponelo esta bien si queres que se indexe la pagina pone index,follow si no queres no se indexe pones en el tag noindex
User-agent: *
Disallow: /carpeta_antigua/ficha.asp?id=424
Disallow: /carpeta_antigua/ficha.asp?id=425
Disallow: /carpeta_antigua/ficha.asp?id=426

Sitemap:www.dominio.com/sitemap.xml

[lauri_lunae]

Hola, gracias por responder

Lo de la metaetiqueta ya me ha quedado claro como funciona, he buscado algo de información en internet y ya he visto que es para indicar a los rastreadores que rastreen o no tu sitio, sigan tus enlaces... según los parámetros que le añadas.

En cuanto al robots.txt tengo una duda, se puede hacer esto???

User-agent: *
Sitemap:www.dominio.com/sitemap.xml
Disallow: /carpeta_antigua/ficha.asp?id=424
Disallow: /carpeta_antigua/ficha.asp?id=425
Disallow: /carpeta_antigua/ficha.asp?id=426

Sitemap:www.dominio2.com/sitemap2.xml
Disallow: /carpeta_antigua/ficha.asp?id=24
Disallow: /carpeta_antigua/ficha.asp?id=25
Disallow: /carpeta_antigua/ficha.asp?id=26

Tengo 2 dominios cuya raíz es la misma ya que comparten la misma plantilla para generar sus webs, eso si evitando ducplicar contenido para que no te penalicen. Y desde webmasters tools he seleccionado un sitemap diferente para cada dominio, pero con el robots.txt no se pued, sólo puede haber uno en la raíz... no sé como hacerlo si no :(