Cita: Per ejemplo, existen registros así:
Abreu
Abréu
Pero no hay ningún registro duplicado tipo:
Abreu
Abreu
En este caso podrías trabajar con un indice normal (no unique) pero claro no tendràs ese control.
El control para evitar duplicidades se podria implementar en el procedimiento para agregar nuevos apellidos. Quiero decir que en lugar de hacer solo un INSERT INTO, se puede consultar si el apellido ya esta en la tabla y si esta no insertarlo. Puede que sea lento pero entiendo que no serà una cosa habitual ya que ya partes de un número grande de apellidos. Pero claro eso se deberá hacer con un cotejamiento que te distinga las distintas formas del apellido.