Siempre es más recomendable utilizar un sitemap HTML que un sitemap XML dado que el XML tan solo es una recomendación que damos a los buscadores, pero que sin enlaces a esas páginas, es muy difícil que sean indexadas.
Te recomiendo que olvides el Sitemap XML y te centres en un correcto etiquetado interno de tu página.
Te dejo un artículo interesante sobre las diferencias entre
sitemap XML y sitemap HTML.