Prueba a hacer algo así:
<script language="JavaScript">
function eligeTarget() {
if (formulario.Formato.value == "HTM") {
formulario.target = "_blank"
} else {
formulario.target = "_top"
}
}
</script>
<form name="formulario" action="pagina.htm" method="get" target="" onSubmit="eligeTarget();">
Saludos
