Hola:
Es igual que los enlaces, usando el target distinto de "_self" (por ejemplo "_blank", aunque si quieres que la ventana tenga características de popup, debes abrir una ventana en blanco con el evento (onsubmit) y coincidiendo el nombre de esa ventana con el target del form.
Saludos
