Este tipo de CMS (Sistema de Gestion de Contenidos) no se instala desde un .exe, se trata de una serie de archivos que necesitan una plataforma especifica para poder ejecutarse esto es PHP+MySQL, si tan solo quieres probarlo vas a necesitar un paquete WAMP, como por ejemplo easyphp (
http://www.easyphp.org/)
Si lo necesitas para un sitio web y que las personas puedan visitarlo desde cualquier parte, puedes instalarlo en un hosting gratuito o de pago.
nosotros por ejemplo, así como gran parte de las empresas de hosting, tienen joomla, wordpress, etc listos para instalar desde una aplicacion llamada fantastico o también desde softaculous y muchas otras...
no dudes en contactarnos si necesitas mas detalles acerca del servicio de hosting para tu instalación de joomla...