Pues lo que quieres son dos cosas...
1. Un menú.. mira
aquí... los tienes para todos los gustos y colores (coretsía de Mikmoro)
2. La función include, es decir, que lo que hace es que te pone el menú en otro archivo y cuando lee el html va a ese archivo. Busca sobre ellos...
Un saludo!!
Aresillo!!