Acabo de testear tu Sitio en IE 7 y se ve correctamente. Puede ser que con las versiones anteriores no. Cuando ocurren estos problemas, puede ser un plugin que esta haciendo coche con los códigos de la plantilla, un módulo mal editado, entre otros miles de factores. Te recomiendo que la plantilla que tienes la cambies por otra, porque esa que tienes es la que viene por defecto en Joomla y hace que el sitio no sea tan original...
aca puedes encontrar muchas plantillas gratis:
http://www.bestofjoomla.com/
Hace algunos días recibí un muy buen comentario de un muy buen amigo mío Larez. Yo tenía un problema parecido. Y lo que hay que hacer es los sitios relajadamente "al lento". Por ejemplo si es que instalastes un plugin revisa enseguida el sitio web en Firefox y en IE por si es que hay algún error con dicha extensión. De esta manera te ahorrarás muuuchísimo trabajo en buscar al tener listo el sitio los problemas.
En conclusión te recomiendo que cambies la plantilla por alguna que te guste y luego vayas desactivando plugins, volviendo a activarlos, o probando lo mismo con los módulos. Si es que no funciona con ninguno de estos, luego vas a los componentes o al los mismos códigos de la plantilla.
Si es que encuentras el problema puedes cambiar la extensión por una parecida o simplemente arreglarla.
Suerte con tu sitio!