Puedes usar un "comentario condicional" para todos los otros navegadores. Así ocultas lo que funciona en todos menos en IE con un comentario para IE; y lo que se ve bien en IE con uno que lo oculte al resto.
También puedes usar un solo condicional para IE, incluyendo ahí un CSS que ponga en
display: none; lo que no quieres que se vea.
comentarios condicionales