Bueno, primero una cosa:
Cita: el post esta en php por que los sitios son en php
¿Cuanto tarda en contestarte el servido web + php?
¿A partir de ese punto cuanto carga la página para sentirse 100% cargada?
Son cosas diferentes, que la página esté programada en php no implica que la velocidad tenga que ver con ello así que tu tema está fuera de contexto.
¿Conoces NewRelic?
Te sugiero instalarlo en tus servidores para que observes adecuadamente dónde está el cuello de botella, si todo es rápido del lado del backend: ¿para qué echarle la culpa a php?