Hola:
Creas un archivo con extensión php con el trozo que quieras incluir en todas las páginas. Y después en cada una de las páginas y en el lugar que quieras incluir ese código pones lo siguiente:
Debes tener en cuenta que para que te funcione en local deberás tener instalado y funcionando un servidor como Apache que te ejecute el PHP aunque otra opción sería que hicieras tus pruebas en un servidor real que te permita ejecutar el php.
Saludos.
