16/10/2008, 11:24
|
 | Super Moderador | | Fecha de Ingreso: febrero-2005 Ubicación: Buenos Aires
Mensajes: 9.264
Antigüedad: 19 años, 2 meses Puntos: 2114 | |
| Respuesta: problema con robots.txt
Poner una restricción al nivel del root, sólo es una buena práctica en los momentos en que el sitio está en construcción.
De cara a un sitio ya terminado, robots.txt es una herramienta de suma utilidad para el webmaster cuando este considera que hay carpetas de su sitio que no deben ser alcanzadas por los crawlers.
User-Agent: *
Disallow: /carpeta-de-ejemplo
En el anterior, carpeta-de-ejemplo no deberá ser indexada por los crawlers
__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |