bueno como comentas asumo que ya sabes como crear un evento de boton para que detectes el "click"... dentro de ese necesitas hacer la ventana entonces haces un;
Código Java:
Ver originalJDialog ventanaEmergente
= new JDialog(<obj de ventanaPrincipal
>,
<true o
false para que tenga le focus siempre
>); //checa los parametros hace tiempo que no me meto con swing... ventanaEmergente.setSize(<las medidas>);
ventanaEmergente.
setDefaultCloseOperation(JDialog.
HIDE_ON_CLOSE);ventanaEmergente.setVisible(true);
Con eso te deve salir, sin embargo la variable JDialog recomiendo que sea global y dentro del boton solo la instancies y la muestres...
Documentacion de clase JDialog