Si pones la dirección de tu web, podemos visitarla y probarla.
Asi a ojo es dificil
Por lo general, FireFox funciona mejor que Internet Explorer, asi que hasta que no vea tu web, no se donde está el problema.
La tardanza de la página solo es debido al servidor.
Como tengas construida la página no importa, puedes ser lo desordenado que quieras que siempre tardará lo mismo.
Para reducir el tiempo de descarga de tu página, procura siempre optimizar el peso de los graficos. Si tu página pesa mas de 100Ks, tardará en abrirse, pero si pesa menos de 15ks, saldrá a golpe de click.