Se supone que ya tienes las imagenes grandes y los thumbs.. obviamente guardando solo los nombres de esos archivos que es lo unico que necesitas..
Código PHP:
$resultado = mysql_query("SELECT * FROM imagenes");
while ($rows = mysql_fetch_array($resultado, MYSQL_ASSOC))
$img = "<a href='#' onclick='OpenWin(pics/".$rows['imgname'].")'>";
$img .= "<img src='thumbs/th".$rows['imgname']."'>";
$img .= "</a>";
El funcionamiento es muy sencillo.. usas el mismo nombre de la imagen para abrir el popup y para mostrar el thumbnail.. la unica diferencia es que cuando guarde la imagen en las carpetas de pics (son las imagenes normales) y thumbs (las imagenes pequeñas) lo unico que hice fue que todas las imagenes guardadas en thumbs les agrege un "th" al inicio a modo de prefijo.. por eso es que en la etiqueta de imagen veras un "th". Y bueno, OpenWin seria una funcion creada en javascript con el proposito de que abriria un popup conteniendo la imagen dentro..
No se si me explique bien..