Cita:
Iniciado por woselwosel 
Robots que envían peticiones masivas y cuelgan la web? Esto es normal? No deberían tener filtros para evitarlo?
El filtro debes crearlo tu manualmente mediante el archivo robots.txt
Siempre van a haber robots o crawlers rastreando, boots automatizados etc. tocando las pelotillas consumiendo tráfico de tu servidor. Por eso es importante tener un buen firewall y robots.txt bien configurados.
A parte instala y configura esto:
Mod_evasive. Normalmente se instala bajo demanda en equipos con buena RAM.
Configura el archivo robots.txt en tu raíz de public_html. El encargado es el cliente que normalmente no tiene ni puta idea.
WAF modsecurity con las reglas de comodo. Seguramente ya lo tenga implementado tu ISP.
Activa el log rotate para ir rotando y borrando los logs. DEBERÍA de tenerlo implementado tu ISP por defecto aunque lo dudo...
Con esto quedaría solucionado el tema. Te lo garantizo
Solicita un ticket a dicho ISP si no sabes cómo hacerlo. O me contratas y hablamos de mis tarifas...