De momento todas tus páginas deberán tener la extensión PHP
Y podrías hacerlo así:
Código PHP:
<?
include "cabecera.php";
?>
Aquí todos tus contenidos
<?
include "pie.php";
?>
Ahora bien, si no quieres cambiar la extensión de todos tus archivos, creo que algo parecido se puede hacer con javascript.