Bueno, creo que no notaste el signo de admiracion en
[if !IE] que se traduce en
[si no es IE]
Código:
<!--[if !IE]><!-->
<aqui cargas css />
<aqui cargas js />
<y todo lo que no quieras para IE />
<!--<![endif]-->
Un navegador de verdad ignorara los comentarios condicionales y cargara normal, pero cualquier IE (no recuerdo desde que version) ignorara todo lo que este entre
<!--[if !IE]><!--> y
<!--<![endif]-->