hola, pues creo, que la propiedad 'target' del link que ejecuta la ventana modal podria sacarte de lios
un pequeño ejemplo
Código HTML:
<a href='#' target='_top'>ejecutar modal</a>
y de esta manera desaparecen todos los iframes del documento, basta con dirigir el siguiente documento al nombre del iframe para regresar a ellos
Código HTML:
<a href='#' target='NOMBRE_DEL_IFRAME'>ejecutar modal</a>
espero que te sea de utilidad
SALUDOS!!!