A mi me ha dado muchos problemas del estilo "xml mal formado" simplemente por "tonterías" del propio Xajax
. Por ejemplo, si estás dentro de la función que vas a usar dentro de Ajax, no puedes tener ninguna salida de error en pantalla, porque todo lo que salga será interpretado como parte del xml, y esto hará que sea "mal formado". De la misma forma, me pasó que por un "espacio en blanco" al final de un clase que era invocada por el fuente de xajax (era la que hacía la abstracción de la base de datos), me daba el mismo mensaje de error, cuando nunca había tenido problemas antes con esa clase (y perdí horas para encontrarlo).
Lo que te recomiendo es que veas la salida de debug del xajax y busques en que parte del código xml se inicia el error. Ayúdate también usando algún debug para javascripts que puedas instalar en Firefox.