¿Se te ha ocurrido, tal vez, guardar el XML en un archivo sitemap.xml?
Es decir, yo no generaría dicho sitemap todo el tiempo al acceder a sitemap.php, eso sería un desperdicio.
Pero suponiendo que lo generas cada cierto tiempo lo ideal sería guardar dicho XML en su respectivo archivo, así es más eficiente.