Pero ese bug no es del flotado (los elementos se colocan a izquierda o derecha), sino que duplica el margen (doble margen lateral en elementos flotados).
Y la solución es casi tan antigua como el descubrimiento del bug mismo. Margen lateral con valor negativo al mismo lateral que al que está flotado.
Hay muchas páginas donde hacen recopilación de los bugs de ie y de las distintas solucciones propuestas.
Una de tantas, y otra
sobre ie8, y por haber, ya hay material de preaviso publicado sobre las del futuro ie9.
Como verá, no hay una "solucción milagro", sino que dependiendo de qué bug sea, habrá uno, varios o ningún parche disponible.