Sólo para expertos en CSS

[JHMorales]

Hola:
no soy experto pero creo que tu problema viene de esto:
primero empieza tu css con
* {margin:0;padding:0;}
así anulas los margin y padding que los navegadores ponen por defecto y que cada uno maneja a su manera, y además luego el ff sigue las reglas w3c y el ie improvisa.

segundo, en
div#set_of_links {
position:relative;
padding:1px; aquí pones 1px

y en
div#set_of_links a {
display:inline;
padding:0px 0px 0px 0px; y aquí pones 0px

creo que el ie trata los img o los a con la primera opción y cuando pasas el ratón por encima los trata como links usando la segunda opción o utilizando los valores de margin o padding que pone por defecto.

En mi modesta opinión pon lo que puse de primero e iguala los dos padding, y ya contarás si funciona. Suerte, Jorge H.