trata asi:
Código PHP:
$verifica_cant = mysql_query("SELECT dia FROM tb_encabezado WERE dia='$_POST['dia']'");
if(mysql_num_rows($verifica_cant)<3){
mysql_query("INSERT INTO tb_encabezado (fecha, unidad, fundo, dia, responsable_user, pension_rsocial, trabajador, opcion) VALUES ('$_POST[fecha]','$_POST[unidad]', '$_POST[fundo]', '$_POST[dia]', '$_POST[responsable_user]', '$_POST[pension_rsocial]','$_POST[trabajador]','$value')");
} else {
echo "<script>alert('Ha alcanzado el limite de registros hoy');</script>";
}