El sitemap XML es solo una indicación para los buscadores, no está obligado a seguirlo, mientras no te salga ningún error dentre de webmasters tools es que el sitemap está bien.
Te recomiendo que hagas un sitemap HTML
son más fiables que los sitemaps XML.