Sí, se las podría llamar diálogo. En cuanto a lo que dices...vamos por partes.
Me supongo que la comprobación de si los datos introducidos son correctos, la harás en php en una página a la que se vaya después de que el cliente pulse un botón, y desde aquí ya hacer lo que sea.
Si es así, lo siento pero no le veo utilidad a lo que pides, pues al fin y al cabo se carga otra página. Para mí resulta mejor ver el mensaje en una página antes que tener que darle a un botoncito en un diálogo, que siempre es más molesto.
En cualquier caso, eso lo tienes que hacer con javascript con esta sentencia:
alert("Oye, que has puesto mal los datos");
Eso puedes ponerlo, por ejemplo, en el evento onLoad del body de la página que debe indicar el error.
