15/03/2011, 10:38
|
| | | Fecha de Ingreso: febrero-2011
Mensajes: 26
Antigüedad: 13 años, 2 meses Puntos: 0 | |
 Construcción correcta del robots.txt
Hola,
Tengo unas dudas sobre la construcción del robots.txt; yo lo tengo construido así:
User-agent: *
Disallow: /carpeta_antigua/ficha.asp?id=424
Disallow: /carpeta_antigua/ficha.asp?id=425
Disallow: /carpeta_antigua/ficha.asp?id=426
Para que me bloquee esas páginas que son páginas antiguas que no quiero que estén indexadas.
He visto que algunos también añaden la etiqueta del sitemap:
User-agent: *
Sitemap:www.dominio.com/sitemap.xml
Disallow: /carpeta_antigua/ficha.asp?id=424
Disallow: /carpeta_antigua/ficha.asp?id=425
Disallow: /carpeta_antigua/ficha.asp?id=426
¿Cuál de las dos formas es la correcta? ¿O ambas están bien? En mi caso el sitemap se lo he indicado desde webmasters tools.
Luego también he incluido la meta etiqueta en mi dominio:
<meta name="robots" content="index,follow" />
¿Esta etiqueta tiene que ver con el robots.txt? O es simplemente para indicarle a los robots que pasen e indexen tu sitio... porque en el content los atributos pueden variar... es un lio.
Gracias de antemano y un saludo! |