Hola Anarko 
 
 
jé, andas bastante despistado con el asunto este, es mucho más simple  
 
    Cita:  Se trata únicamente de "escribir bién" el html o es algo más útil/practico que eso ?
    Se trata, efectivamente, de escribir bien el html adaptándolo a xhml que se puede decir que no es más que un html reformulado al cual se le han quitado atributos y elementos (especialmente los presentacionales) y unas normas de gramática algo más estrictas. El xhtml lo que pretende es buscar compatibilidad entre el xml y el html. 
No debes cambiar las extensiones de las páginas si son php. Recuerda que la extensión php es lo que indica al servidor que debe abrir el documento antes de enviarlo y procesarlo devolviendo html que es lo que le llega al navegador. 
Así deja las extensiones php en php y las html en html. 
Dentro del documento es donde se indica el DTD (document type definition) que es esta línea 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "xhtml/xhtml1-strict.dtd">  
Ahí es donde se le indica al navegador el lenguaje y versión que usa el documento para que el navegador lo parsee en una u otra forma. 
Por lo demás deberás acondicionar el html existente para que sea xhtml, pero sólo eso deberás retocar (sólo que es mucho). 
Puedes leer este artículo al respecto 
http://www.tierradenomadas.com/tw001.phtml 
y también el anexo técnico (hay un link al final del artículo) donde encontrarás un resumen de los elementos y atributos desaprobado. 
http://www.tierradenomadas.com/tw001a.html 
El DTD que estás usando es el estricto (strict) tal vez si usas el transicional te sea más práctico, al menos para empezar (es más permisivo) 
Un saludo  
