Si es posible con swing, existen varias formas, pero la más sencilla es usar un JTextPane, aunque no es algo trivial, después tienes que ponerle que vas a usar html dentro de él...
El JTextPane funciona como un JTextArea por ej.
JTextPane jaec = new JTextPane();
jaec.setContentType("text/html");
...
Puedes encontrar algo en la documentación en línea de Sun, en la sección de aprender a usar Swing
http://www.sun.com/
Saludos