Se me ocurre que el <ul> y el <li> generan margenes con respecto al <div> que no consideras después en el enlace <a>.
Por ello deberías darle margin-left (o padding-left) si eso no va con valor 0 a <ul> y a <li>, y luego hacer un <a> que tenga el margin-left adecuado para que el texto o la imagen del enlace comience donde estaba antes.
Un saludo.