Los dos son DBMS, Apache Derby es un subproyecto de Apache.org nacido originalmente de un producto creado por una empresa denominada Cloudscape.
Adolece del problema que para poder ser usado por alguna aplicación, la aplicación debe ser programada en java exclusivamente, ya que Apache Derby fue creado en Java, para Java y sólo soporta Java (no tiene otros conectores ni los tendrá, por lo que parece).
Existen algunos fornt-ends para manejarla como
Aqua Data Studio, pero lo que hasta ahora se sabe es que el consumo de recursos del Apache Derby lo hace poco práctico comparado con otros DBMS en java como
H2
Si no piensas programar en Java, olvídate de él. Y si piensas en hacelo, mejor usa H2.