El servidor puede ser la causa, si, entre otros:
https://developers.google.com/speed/...ar&tab=desktop
El server en si demora bastante en responder por lo que veo.
Pide soporte a tu proveedor, o búscate otro de mayor calidad.
No veo necesario para una página de este estilo, que necesites un VPS o Cloud, simplemente debes ir por un Hosting Compartido de calidad, que no haga reselling masivo y esté basado en SSD.
Un saludo,