01/03/2012, 15:30
| |||
| |||
| Robots.txt no trabaja Hola, en mi robots.txt tengo puesto en cada linea los disallow que no quiero que aparezcan en los buscadores, lo extraño es que si aparecen y todas y cada uno de los disallow. El sitio lleva ya para un año (incluido el robots.txt y demás) y está indexado desde la fecha, hablo todo basado en Google. Tengo escrito así cada línea: Código HTML: Disallow: /sitemap.xml Un saludo |
|
01/03/2012, 16:16
| ||||
| ||||
| Respuesta: Robots.txt no trabaja Cita: No. La sintaxis correcta incluye la declaración del bot o crawler o bien todos (informando esto vía asterisco)
Iniciado por erxaca  ¿La sintaxis es correcta cierto? en ese caso porque no funciona???? Por lo demás, si tu preocupación es el archivo de sitio. Google está (hace rato) instruyendo a Googlebot para que indexe el archivo sitemaps.xml Por otro lado, también está indexando el archivo robots.txt Aunque no es sabido si esto lo llevaba a cabo en la época pre-Panda; pero ahora sí forma parte del SERP 
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
01/03/2012, 17:06
| |||
| |||
| Respuesta: Robots.txt no trabaja El user-agent está declarado en la primera línea: Código PHP: |
|
01/03/2012, 17:38
| ||||
| ||||
| Respuesta: Robots.txt no trabaja Te sugiero des de de alta tu dominio en las Herramientas para Webmasters y luego compruebes el comportamiento del robots.txt desde ahí: Información del sitio » Acceso a rastreadores.
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
| Etiquetas: |
