Hola:
el div container si crece, prueba a ponerle un borde y lo verás. Lo que no crece es el fondo que le has puesto a cada div interno, eso se soluciona con el método de las faux columns:
http://alistapart.com/articles/fauxcolumns/
prueba a ver que te sale.
Suerte, Jorge H.