Desde que google incremento la importancia de el tiempo de carga de un sitio en el algoritmo es cada dia mas importante optimizar nuestro Wordpress para que cargue lo mas rapido posible.
Encontre el siguiente artículo con algunos cambios básicos que se deben hacer para agilizar los procesos.
http://www.noupe.com/how-tos/speeding-up-wordpress.html (En ingles)
Espero les sirva, Saludos !