saludos, hay muchas formas de hacer eso como haciendo que la web lea una base de datos, pero hay algunas mucho más sencillas y útiles, el método que yo uso mucho es utilizar las plantillas del Dreamweaver, es hacer la web tal y como quieres que quede pero sin el cuerpo de texto que lo dejas en blanco mientras que los menús, cabeceras, etc. esten puestas. (es un largo tema pero en google seguro que si buscas crear plantillas con el dreamweaver encontraras muchos tutoriales).
Y la segunda forma que suelo usar bastante es poniendo todos los menús laterales y de pie de página en un archivo java externo y llamarlo desde la web un ejemplo lo puedes ver en la web que he realizado hace poco (
http://pruebas.yin-yan.es) puedes mirar el codigo fuente como hago un src de un menu.js y si guardas la web puedes ver como está escrito el js.