Cita: ¿Hay alguna cosa, además de cachear las páginas, que pueda hacer, alguna sugerencia de configuración del servidor?
Wordpress se puede optimizar y mucho, mira
este enlace.
A nivel de servidor, también puedes hacer mucha tarea para optimizarlo, empezando por Apache, MySQL y PHP como tres áreas primarias, luego también podrías optimizar servicios, kernel, etc. Si tu proveedor maneja los VPS (VPS Administrado) ellos mismos deberían intentar optimizarlo.
Saludos,