Bueno lo que se hace en esos sistemas es enviarle a la ventana que se abrira por popup el nombre o la ruta de la imagen que se abrira.
Ejemplo:
<a href="javascript
:;" onclick="popup('grande.php?imagen=images/imagen1.jpg')">link imagen grande</a>
COmo ves ese link abre un popup suponiendo que tienes una funcion javascript llamada popup() y que reciva el parametro de la url.
Y la pagina que se abrira que sera grande.php tendra su diseño y en el espacio donde va la imagen puedes poner el <img src="<?php echo $_GET["imagen"]?>">, eso es directo o puedes pasarla por algun script que use la libreria GD.