Se han sacado
varios derivados de ubuntu y considero que lo mejor es que instales Ubuntu Server y no tener Ubuntu Desktop.
La solución que te está dando
_Adrian_, esta bien, pero lo que no estoy muy seguro, es que aunque entre en modo texto, no sé si realmente no carga la parte gráfica aunque no la active.
Si siempre está activa aunque no se utilice, siempre va a utilizar memoria y recursos, mientras que Ubuntu Server, no te va a cargar nada.