Cómo funcionan las librerías gráficas en su parte más baja?

[Instru]

Se supone que en cada sistema operativo es diferente.
Como mencionas. En sistemas muy basicos, lo que hacen es acceder directamente a la memoria de video. Pero en computadoras mas generales donde igual los sistemas son mucho mas generales(linux, windows...) si no mal recuerdo, se accede mas bien a la interfaz del driver de video.
OpenGL y Direct3D es una interfaz entre el programador y los drivers de video.
Allegro, SDL, Cairo, etc. A veces usan librerias intermedias. Pero al final se comunican con los drivers de video. Y el driver de video es el que se encarga de enviarle las instrucciones correctas a la placa de video que tengas.

Corrijan si me equivoque.

saludos