Yo uso ajax para el logueo, si los datos están incorrectos, hago visible un div que indica que los datos son incorrectos. Si no usas ajax, una vez que verifiques los datos y estén mal, redireccionas a la página de logueo enviando una variable tipo GET para que la página compruebe que si existe esa variable, muestre un mensaje de error, algo mas o menos asi
Código PHP:
Ver original<?php
if ($_GET["extra"]=="datosIncorrectos") echo'
<div class="error" align="center">Datos incorrectos</div>';
?>
Espero te sirva, saludos