Hola:
Puedes hacerlo así en HTML:
Código:
<div id="menu">
<ul>
<li><a href="opcion1.html">Opción 1</a></li>
<li><a href="opcion2.html">Opción 2</a></li>
<li><a href="opcion3.html">Opción 3</a></li>
<li><a href="opcion4.html">Opción 4</a></li>
</ul>
</div>
Como posicionar y como maquetarlo depende de tí.
Te recomiendo te leas este libro sobre
XHTML y este otro sobre
CSS.
Saludos.
