11/06/2010, 10:37
|
 | | | Fecha de Ingreso: junio-2010 Ubicación: Canarias
Mensajes: 37
Antigüedad: 13 años, 11 meses Puntos: 1 | |
| Respuesta: Corregidme por favor
Todos los robots pueden acceder a todos tus archivos
User-Agent: *
Allow: /
Todos los robots pueden acceder a todos tus archivos a parte este archivo:
User-Agent: *
disallow: /(1º elarchivo que no quieres que sea rastreado)
disallow: /(2º elarchivo que no quieres que sea rastreado)
y así cuntos quieres....
mira en www.robots.org
...al final si quieres que no rastrea algunos archivos y a lo mismo quieres eliminar algunos robots del rastreo puedes hacerlo así:
User-agent: *
Disallow: /folder1/
Disallow: /folder2/
User-agent: Araña 1 que no quieres
Disallow: /
User-agent: araña 2 que no quieres
Disallow: /
saludos |