Cómo funcionan las librerías gráficas en su parte más baja?

[muxto]

Hola, hace semanas que estoy leyendo en internet y he visto bastante código, pero aún hay cosas que no encuentro, por ejemplo, en librerías gráfica como Cairo o Allegro ¿cómo se implementa el contacto con el hardware? He visto que en códigos simples (como sistemas operativos de prueba) se accede directamente a la memoria de video y se comienza a escribir allí, ya sea en modo VGA de texto o gráfico. Pero para resoluciones superiores, por ejemplo, las actuales interfaces gráficas en Linux o Windows (en linux por ejemplo se usa Xorg y otras librerías como Cairo) ¿se continúa usando el mismo método de acceder a la dirección de memoria de vídeo? ¿cómo se hace esto cuando tenemos una tarjeta gráfica? ¿se accede del mismo modo?
Desde ya muchas gracias.