estrictamente en XHTML no existe esa habilidad, aparte de los marcos ya obsoletos. la forma que se maneja este aspecto es mediante programacion del lado servidor con los famosos include. es practicamente sencillo pero depende el lenguaje que emplees en el servidor. busca por
server include con el lenguaje que desees hacerlo (php, asp, jsp, ruby)