Si bien no recuerdo mal esa técnica se llama Lightbox y usa funcionalidades AJAX, actualmente hay muchas librerías que lo soportan y encontrarás mucha información en la red.
Un ejemplo es el
artículo de anieto2k y si buscas en google
con el termino te saldrán varias mas.
Una librería que te lo permite hacer creo que es
jQuery, saludos