BleEDMan, bienvenido a FDW.
Antes que nada, hay otras ventanas modales que funcionan tambien con Javascript, pero sin requerir de un framework, como JQuery o similares; hay quienes preferimos que sea mas "a la antigua".
Ejemplo:
http://www.scriptiny.com/2008/04/cus...-dialog-boxes/
Ahora, pasando a tu problema, hay dos opciones para mostrar esa ventana con mensaje de error sin tener que recargar toda la pagina y, en ambas hay que recurrir a Javascript
:
1- Validas el formulario directamente en Javascript y, en caso de errores, activas la ventana y muestras el mensaje.
2- Por medio de AJAX, es mucho mas complicado, pero te permite ejecutar la validacion en el servidor y actualizar solo una parte de la pagina y/o activar la ventana con el mensaje de error.
Cualquiera que sea tu eleccion, te recomiendo preguntar en la seccion adecuada:
http://www.forosdelweb.com/f13/