10/06/2010, 23:45
|
| Colaborador | | Fecha de Ingreso: julio-2008 Ubicación: Consultor SEO
Mensajes: 2.937
Antigüedad: 17 años, 3 meses Puntos: 185 | |
| Respuesta: Corregidme por favor
Si te miras un poco de más información sobre el archivo robots.txt podrás ver que si puedes limitar eso. Desde bloquear a los crawlers que no te interesan, hasta limitar lo archivos que deben rastrear prohibiendoles el acceso.
Ejemplo:
User-Agent: Slurp
Disallow: /wp-admin/
Disallow: /archivos/
Etc... échale un ojo al tema :) |