La manera correcta es utilizar includes en el servidor. Los hay desde el mismo servidor server side includes, o desde un lenguaje de programación, php includes por ejemplo.
Explora el tema.
En un remoto caso podrías usar un batch text replacer, como este.
http://www.digitalvolcano.co.uk/textcrawler.html pero ten cuidado con la codificación de tus documentos.
üsalo en una
copia de tu directorio.