la estructura del menu (la parte HTML) si necesitas colocarla en cada página, el CSS lo puedes vincular con un archivo *.css
¿te parece tedioso?,
si lo es, a menos de que dispongas de un script del lado del servidor como PHP, ASP o JSP.
por ejemplo con PHP extraes la parte del html, la guardas en otro archivo y la incluyes en las demás, así cuando cambies el menú, tendrás el cambio en todo el site
Código PHP:
<?php include('menu_html.htm'); //incluyendo el html del menú ?>