Te recomiendo Debian, te bajas un CD de instalación por red, tan sólo instalas lo que tú quieres, y listo. Puede que sea algo más
feo a la hora de la instalación, pero creo que vale la pena.
Si decides usar el sistema XWindow, te recomiendo un escritorio ligerito, como por ejemplo fluxbox.
Debian net-installer:
http://www.debian.org/devel/debian-installer/
Fluxbox:
http://fluxbox.sourceforge.net/
Saludos.