Si no quieres quitarle el borde, simplemente puedes ponerle un borde cuando no está seleccionado, del mismo grosor y entonces no se moverá:
Por ejemplo, un borde transparente sería:
Código CSS:
Ver originalborder: 1px solid rgba(0, 0, 0, .0);
Espero que sirva,
Un saludo
Ito