Creo que me va muy muy mal

[pajaroloco]

Por si te sirve. Creo que con el "monstruo" de equipo que tienes deberías tener de sobra para jugar (y pintar y renderizar y quizas todo a la vez).
Tal como te indican un poco más arriba, cuando la tarjeta gráfica se queda sin memoria propia toma prestada, así que la cantidad de memoria no debería ser un problema. Ahora bien, hace muuuuuucho tiempo, me encontré con un fallo similar, un juego que le pasaba lo mismo, llegando incluso a colgar el ordenador.
Después de muchas vueltas y dado que el ordenador funcionaba muy bien en uso normal, llegué a la conclusión de que era el uso extremo de la tarjeta gráfica la que provocaba el mal funcionamiento, el juego tenía muchas capacidades gráficas para la época y utilizaba toda la memoria de la tarjeta.
Uno de los chips de memoria de la tarjeta gráfica estaba dañado, cuando se empezaba a avanzar en el juego que exigía más memoria llegaba a la zona dañada y empeza a pixelar, a salir rayas se ralentizaba, formaba las imágenes a trozos y acaba colgando el equipo.
Resultado, prueba cambiando la tarjeta gráfica (pide un prestada aunque sea de menos prestaciones) y comprueba, o bien hay por ahí algunos programas que pueden realizar movimientos gráficos para intentar estresar la tarjeta (aunque no tengo muy claro que compruebe toda la memoria de esa tarjeta).
Salu2 y suerte