Hola:
Dentro de header.php, por ejemplo, coloca todo el codigo html que iria en común en todas las paginas y haz lo mismo con footer.php
Luego en una pagina php comun llamas a header.php y a footer.php y los incluyes con:
Donde coloques este codigo en tu template, incluirás el codigo que tiene header.php y footer.php respectivamente.
Aquí tienes un tutorial asi lo comprendes mejor:
http://www.sohtanaka.com/web-design/...g-php-include/
Espero haberte ayudado.
Saludos.