La idea sería crear una capa "<div>" que simule la ventana popup. Seguirá siendo de la misma ventana madre. Si sabes DOM ya sabrás como crear o manejar divs, sino, existen algunos frameworks que te pueden ayudar a manejar estos divs, agregar efectos al abrirse el popup, etc.
El que yo uso por ejemplo es
http://script.aculo.us, pero hay muchos más por allí.