Hola!
Eso tiene que ver con el "modo" (quirsk mode, standard mode, modo casi-estandar) en el que entra el navegador. Si especificamos un DTD valido, entonces el navegador entrará en modo estandar y sino saltará al Quirsk mode.
Dependiendo del modo en el que esté el navegador, entonces "renderizará" las páginas de una forma u otra, es decir trabaja de distinta manera (tratamiento de alineaciones, etc).
En esta web [1] encontrarás más info sobre el tema, y seguro lo explica mejor que yo.
Saludos !
[1]
http://es.wikipedia.org/wiki/Quirks_Mode