Hola:
La forma de validar correcta es más o menos de esta manera:
<form onsubmit="return validar(this)"...
Para tu caso podría ser:
<form onsubmit="if validar(this) abrePopup() else return false"...
En ese abrePopup no debe haber un "return false", y el validar() deve devolver (return) false si no pasa la validación.
Saludos
