16/10/2008, 05:35
| |||
| |||
| problema con robots.txt hola a todos vamos a ver, tengo una duda con el archivo robots.txt no se que poner ¿ que hay que poner para que funcione bien ?? esto: User-Agent: * Allow: / O esto: User-Agent: * Disallow: / Cual de las dos formas seria el correcto?? Gracias |
|
16/10/2008, 08:54
| ||||
| ||||
| Respuesta: problema con robots.txt La forma correcta es esta: Cita: Con lo que los bots interpretarán que no deben rastrear tu sitio.
Iniciado por rafatfe  User-Agent: * Disallow: /
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
16/10/2008, 11:12
| |||
| |||
| Respuesta: problema con robots.txt Cita: pero si no lo rastrean ¿ como lo indexan entonces ?
Iniciado por Daniel Ulczyk La forma correcta es esta: Con lo que los bots interpretarán que no deben rastrear tu sitio. |
|
16/10/2008, 11:24
| ||||
| ||||
| Respuesta: problema con robots.txt Poner una restricción al nivel del root, sólo es una buena práctica en los momentos en que el sitio está en construcción. De cara a un sitio ya terminado, robots.txt es una herramienta de suma utilidad para el webmaster cuando este considera que hay carpetas de su sitio que no deben ser alcanzadas por los crawlers. User-Agent: * Disallow: /carpeta-de-ejemplo En el anterior, carpeta-de-ejemplo no deberá ser indexada por los crawlers
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
