sí, así se hace en php, jsp y asp tienen formas similares y es perfectamente correcto
Código HTML:
Ver original<?php include("header.htm"); ?> <!-- incluso puede ser header.php -->
deberás averiguar más a fondo el como implementar e instalar php o el que pienses usar