Hola,
Yo soy novato, pero este tutorial que está hecho para tontos te ayudará:
http://docs.google.com/Doc?id=dhs3vfzq_1258d7bmbhgv
El sistema es algo así como:
<div id="contenedor>
<div id="banner"></div>
<div id="menu"></div>
<div id="contenido"></div>
<div id="pie"></div>
</div>
Ves que el Div contenedor engloba en sus etiquetas de apertura o cierre a los demás.
LO que dices del Explorer es tremendo. La gente no entiende que es el peor navegador y el más usado. Con la versión 8 parece que todas esas gaitas se están solucionando. Pero estar una tarde trabajando y mirando en Firefox u Opera y todo OK, vas lo miras en Explorer y cada DIV por su lado es para suicidarse.
Y te recomiendo la revista "PC Cuadernos Técnicos" titulada "CSS un juego de niños" que te ayudará a entender bien el sistema de DIVs como cajas dentro de otras cajas (cuesta solo 5€ y a mi me ha abierto los ojos, valga la expresión).
Espero que mi respuesta no sea demasiado simplona para ti. Yo solo soy un aficionado.
Un saludo