Hola, mira, eso no es tan complicado, el punto es hacer una lista con los vinculos, y con CSS le vas poniendo los estilos.
Mira
este tutorial que escribi, hay un menu mas o menos como eso pero en horizontal, que facilmente lo puedes adaptar a vertical.
Quizas antes de ese puedes ver
este otro que es para comenzar con CSS, bien facil de entender.
Espero te sirvan