Usar xhtml como aplicación te permite usar otras tecnologías xml dentro del mismo documento utilizando distintos espacios de nombres.
Por ejemplo, si quieres usar imagenes svg dentro un documento xhtml, o los Xforms, debes servir este documento como aplicación.
Si no vas a usar otras tecnologías xml en el documento no necesitas servirlo como aplicación. De hecho ni siquiera necesitas usar xhtml. Un buen html 4 strict es perfectamente correcto
Respecto al planteamiento inicial del tema, pienso que si xhtml1.1 debe ser servido como aplicación el validador debería validarlo como tal independientemente del encabezado que reciba.