Segun tengo entendido, no se puede.
Cuando abres el
window.showModalDialog('lapagina.asp'),
ese diálogo siempre sera esa misma página. Si intentas poner lo del submit o aun cuando le intentes colocar un vínculo con el tag de
<a href=...> para que se te abra ahí mismo otra, y aun cuando no estés usando lo de abrir una pagina nueva (
_blank ), igual se te abrirá en una nueva porque ese es su comportamiento. Cuando estás sometiendo la forma lo que te hace es una especie de reload en la misma página, como si invocaras la misma página y por eso te abre en otra.
Si aun quieres usar el showmodaldialog(), una alternativa seria que la invoques dentro de una pagina usando iframe...
En una pagina llamada lapagina.html tendrias:
Código:
<HTML>
<HEAD>
<TITLE>blahblah</TITLE>
</HEAD>
<BODY>
<IFRAME width="100%" height="100%" src="lapagina.asp"></IFRAME>
</BODY>
</HTML>
Y obvio seria entonces:
window.showModalDialog('lapagina.html')
Espero esta alternativa te ayude...