OK, todo lo que propones es tema de Javacript ..
En las FAQ's de javascript por ejemplo veras una para mostrar una imagen ajustada al tamaño de la imagen a presentar .. aunque como generas tu imagen desde GD .. también conoceras su tamaño como para abrir tu ventana (window.open() ..) desde javacript con las propiedades que requieras.
Lo que si que deves consultar en el foro de javacript es como abrir tu ventana y pasarle los valores del formulario ante tal evento (submit() por ejemplo) para que ahí vía window.open() llames a tu "muestra.php" que es quien genera tu imagen .. Aunque lo idea sería que abrieses una página muestra_ventana.php donde llames a tu imagen vía:
<img src="muestra.php"> y con el javascript que necesites para ajustarla al tamaño de esta. (si es que no lo haces a la hora de abrir la ventana).
Un saludo,