todo elemento flotado es conveniente darle un width... para evitar estos "desplazamientos" y
sera mejor que lo flotes a la izquierda como tienes a los
li a ya que alojar un elemento en bloque dentro de uno en linea no es correcto, como meter un div dentro de un <a> :S jeje pero bueno... con flotar el li en teoria debe arreglarse... ya que no estoy viendo el fallo solo el codigo y tampoco veo el html por eso decir que hera mejor ver el sitio...
pero bueno intenta y nos cuentas
PD: valida tu codigo HTML y CSS que es factor tambien...