Hola
Primero creo que tienes un <ul><div><ul> cuando deberías ser solo <div><ul>, y tal vez ese div no hace falta, pero no lo estudie así que dejalo así.
Segundo, me parece que el movimiento ese se debe al display:inline-block, según pude probar, con un vertical-align: top en el css del li deberías poder solucionar el inconveniente.
Saludos