Si, te conviene usar directamente la extensión .php en todos tus archivos aunque sean solo html para no complicarte.
luego en los archivos donde quieres agregarlos, lo haces a traves de include()
Código PHP:
Ver original<?php include('header.php'); ?>
<div>otro contenido suelto
<p>html propio</p>
</div>
<?php include('footer.php'); ?>
header.php y footer.php pueden ser simples archivos html, e incluso puedes dejarles la extensión html para incluirlos.