Cita:
Iniciado por stormy 
¿Y has analizado bien ese tráfico "no visto"? Normalmente esto no se soluciona con robots.txt. Los robots "maleducados" no suelen hacer caso de estas cosas.
Visitas de Robots/Spiders :
13 robots distintos Solicitudes Tráfico Última visita
Unknown robot (identified by empty user agent string)53,831 2.22 GB 13 Dic 2013 - 08:46
Unknown robot (identified by '*bot') 2,278+74 144.78 MB 18 Dic 2013 - 00:04
Unknown robot (identified by 'bot*') 1,564+261 9.34 MB 17 Dic 2013 - 22:00
MSNBot-media 502+1149 30.11 MB 18 Dic 2013 - 00:13
Googlebot 1,017+31 15.45 MB 17 Dic 2013 - 23:04
Unknown robot (identified by 'robot') 336+81 1.06 MB 17 Dic 2013 - 22:29
Unknown robot (identified by hit on 'robots.txt') 0+231 45.92 KB 18 Dic 2013 - 00:12
MSNBot 166+16 498.39 KB 17 Dic 2013 - 19:56
Unknown robot (identified by 'spider') 72+24 1.02 MB 17 Dic 2013 - 17:46
Unknown robot (identified by 'crawl') 73+16 1012.90 KB 16 Dic 2013 - 20:51
Alexa (IA Archiver) 5+6 52.63 KB 13 Dic 2013 - 15:03
Yahoo Slurp 0+1 209 Bytes 02 Dic 2013 - 00:53
Netcraft 1 27.98 KB 10 Dic 2013 - 19:49
Pues parece que hay uno que me chupa todo el tráfico.
¿Cómo puedo banearle?