Buenas,
Para mi, el exe puede tener ciertas ventajas a la hora de empaquetar aplicaciones standalone para usuarios windows.
Con herramientas como Launch4j (
http://launch4j.sourceforge.net/) se puede embarcar el runtime Java dentro del ejecutable. Esto permite ejecutar en cualquier puesto sin importar la version de java instalada o incluso si tenemos instalado o no el JRE.
El inconveniente en este caso es que el peso del ejecutable sera mucho mayor. En todo caso, esto va a mejorar mucho con Java 9, que va a permitir modularizar mejor las aplicaciones y embarcar solo los componentes del runtime que utilicemos realmente.
Un saludo