18/04/2007, 21:36
|
| | | Fecha de Ingreso: febrero-2002
Mensajes: 442
Antigüedad: 22 años, 2 meses Puntos: 2 | |
| Re: Consulta sobre robots.txt
El amigo Daniel cita una URL donde esta muy clarito....
ejemplo:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
Significa que cualquier Robot (user-agent) indexa todo tu sitio... menos las carpetas que estan en "Disallow"
Si dejas el Robot.txt por default..
User-Agent: *
Disallow:
le estas diciendo que cualquier Robot.. indexe todo..
y si le pones la barra..
Disallow: /
.excluye absolutamente todo..
......
ni mas ni menos...
saludos. |