Entonces estás pensando mal acerca de tu "optimización", ya que el ancho de banda no es importante aquí, el problema radica en cuanto tarda en procesar el XML el navegador
versus el servidor.
¿O me equivoco?
Ese debería ser el diferencial correcto, como sea no importa cuanto pesa el XML ni cuanto tarda en transmitirse, sin embargo piensa que si tienes el XML físicamente en el mismo servidor, ¿que caso tiene enviarlo al cliente para procesarlo ahí?
Además en el servidor puedes tener en memoria un caché con la estructura de datos del XML ya procesada, ¿por qué crees que sería una "optimización" procesar el XML con el navegador cuando PHP tiene su propia extensión de XML?
No hay nada que optimizar ahora, hasta que tengas un verdadero problema es cuando debes pensar en optimizaciones, no ahora que no has hecho nada aún.