Es fácil:
Primero crea una lista (<ul>), cada elemento de la lista, será un elemento del menú (<li>), estos elementos serán enlaces (<a>). Y ya lo tienes.
Después para darle formato usa CSS (por si quieres cambiar los colores estándar o alguna otra cosa).