Hola,
Lo que parece hacer tan largo el tiempo de carga son el excesivo uso de imágenes y demasiadas etiquetas <div> utilizadas, además, tampoco has intentado comprimir tu archivo CSS.
Para mejorar esto, asegurate de que TODO LO QUE SEA de CSS esté en un archivo aparte, y luego comprímelo, si no sabes hacerlo... esta página lo puede hacer por ti: http://www.cleancss.com/
Ahora, vamos con lo de las imagenes...
Deberías mejor utilizar alternativas con CSS, es mas lígero y te ahorras el tiempo.
La mejor solución a todo esto, es que te leas algunas cosas de esta guía, te enseñará algo sobre el rendimiento:
http://www.librosweb.es/css_avanzado/pdf/css_avanzado.pdf