Yo baje muchisimo la velocidad de carga reduciendo y optimizando cosas:
El css (antes de comprimirlo)
Optando por un theme o plantilla verdaderamente light
Testeando constantemente con gtmetrix (como ya comento
@antonrodin)
Desinstalando javascripts innecesarios
En otros niveles tecnicos si la base de datos y las consultas sql estan hechas "manualmente" siempre se pueden optimizar tambien creando indices, optimizando tablas.. y por supuesto una sola base de datos.
En fin, hay que reducir y optimizar, testear y volver a empezar.
Aprendi mucho del enlace que te ha puesto
@merino_renato, es genial
http://www.forosdelweb.com/f64/quier...io-web-939699/