podrias colocar en el submit lo siguiente
    eso si es que abriste el popup con windows.open.
si lo que muestra el formulario es un div, basta con destruirlo u ocultarlo.   
Código html:
Ver originalonsubmit='document.getElementById("tuDiv").style.display="none";'
  
espero te ayude.