Robots.txt correcto?

nyarko · #1 (**permalink**) 16/09/2008, 01:45

Hola no se si es el lugar idoneo para esta pregunta, si no es así, que la cambien por favor los moderadores.

La pregunta es que tengo este robots.txt

User-Agent: *
Disallow: /img/foto/
Disallow: /admin/
Disallow: /img/
Disallow: /img/logo/
Allow: /

y no se si es correcto, incluyo los directorios, y no se si se tienen que poner como /directorio/ o simplemente directorio o directorio/

Es decir

User-Agent: *
Disallow: img/foto/
Disallow: admin/
Disallow: img/
Disallow: img/logo/
Allow: /

o

User-Agent: *
Disallow: /img/foto
Disallow: /admin
Disallow: /img
Disallow: /img/logo
Allow: /

Gracias

elboletaire · #2 (**permalink**) 16/09/2008, 04:18

En principio delante y detrás, como lo tienes en el primer ejemplo.

PosicionamientoSeo · #3 (**permalink**) 16/09/2008, 06:45

Robots.txt correcto para el caso:

User-Agent: *
Disallow: img/foto/
Disallow: admin/
Disallow: img/
Disallow: img/logo/
Allow: /

Éxitos!

#4 (**permalink**) 16/09/2008, 08:55

No conozco mucho del tema, así que aprovecho para preguntar

Allow: /
¿No es el comportamiento por defecto? Si el archivo se procesa secuencialmente, ¿ubicar el Allow al final no invalida los Disallow anteriores? (Eso sin mencionar que el Allow "se supone" que no está en el formato base del archivo robots.txt según robotstxt.org)

Disallow: img/
¿No hace que tanto

Disallow: img/foto/

como

Disallow: img/logo/

sean inútiles?

Saludos.

nyarko · #5 (**permalink**) 18/09/2008, 01:07

A ver PosicionamientoSeo y elboletaire os habeis contrariado.

?????? cual es la opción correcta??? por favor necesito saberlo... me comen los spiders

nyarko · #6 (**permalink**) 18/09/2008, 01:15

he estado leyendo un poco y parece ser que el
Allow: /

no se debe poner.

nyarko · #7 (**permalink**) 18/09/2008, 01:48

Aunque estoy viendo ahora que en Sitemaps de Google si te lo pone....

que raro... no?

santiagoanuncios · #8 (**permalink**) 18/09/2008, 06:35

hola, el "Disallow: img/" hace que el "Disallow: img/foto/" y el "Disallow: img/logo/" san inutiles, y con el allow:/ al final creo que habilitas todo otra vez. Vamos que pienso igual que alvlin.
Un saludo

facundocorradini · #9 (**permalink**) 18/09/2008, 09:46

Coincido con Alvin ySantiago. Para mí, lo correcto sería:

User-Agent: *
Disallow: admin/
Disallow: img/
Sitemap: url-del-sitemap.xml

saludos!