Hola yagami:
No importa que la ventana tenga frames, siempre que cierres la principal (la del frameset)
debes abrirla dándole un nombre...
var ventana = window.open(...)
y el botón sería
<button onclick="ventana.close()" > Cerrar Ventana </button>
Saludos
