Tienes varias herramientas para comprobar la velocidad de carga de cada elemento. yo uso
http://www.webpagetest.org/
Así podrás ver si es por el tiempo de respuesta del servidor, porque tienes muchas archivos, si es por los scripts, si tienes o no compresión, etc etc etc.
Yo, en mi opinión, 2-3 segundos no lo veo tan lento... más o menos es la media... según google, con 3 segundos estás más o menos siendo más lento o más rápido que el 50% de webs...