Cita: AnesGy, (creo que) eso no me serviría, ya que cuando hago click en "Eliminar", estoy eliminando los datos de la BD, el problema reside en que al pulsar "Atrás", los valores los reenvía y los vuelve a escribir.
Cual es el punto de hacer registros para eliminarlos después?
Otra cosa que puedes usar son claves, esto es usar un identificador que al usarse se guarde en la base de datos. Al reenviar el formulario se reenvía la clave otra vez, y como ya existe en la base de datos, entonces sabes que el formulario no se puede reenviar.
Hay muchas formas de hacer claves de este tipo. Puedes probar con uniqid, o con el timestamp, o incluso con alguna combinación de ambos o encriptaciones.
Luego tendrías que generar un sistema para que las claves caduquen y las puedas ir eliminando, pero eso ya es otra cosa.