Con algo así debería valer.
Código PHP:
$checkdupli = mysql_query("SELECT nombre, dni FROM firmas WHERE nombre='$nombre' AND firma='$firma'");
$dupli = mysql_num_rows($checkdupli);
if ($dupli > 0) {
echo 'Hay registros duplicados';
} else {
// Esta es la parte que se ejecuta si no hay registros duplicados
$query = "INSERT INTO firmas (nombre, dni) VALUES('$nombre','$dni')";
mysql_query($query) or die(mysql_error());
}
Espero que sirva, saludos,