04/05/2012, 10:03
|
 | | | Fecha de Ingreso: octubre-2011 Ubicación: Castellon
Mensajes: 271
Antigüedad: 12 años, 6 meses Puntos: 99 | |
| Respuesta: ejemplo robots.txt
Son spiders a los cuales les tiene prohibida la entrada, los cuales lo único que hacen es consumirte ancho de banda, no todos algunos son un poco pesados. Personalmente no le doy importancia a este tipo de robots a menos que sean scrapers de contenido.
Si realmente quieres prohibir que entren yo lo haría en el htacces
__________________
"Yo solo seo que no seo nada" |