Eliminar cierta cantidad de divs

[lgza70]

Hola, soy nueva en este lenguaje y tengo un select con números que clonan un div dependiendo del número seleccionado, si vuelvo a seleccionar de ese mismo select otro número y es un número mayor al seleccionado anteriormente, ya me pone exactamente la cantidad que elija, pero si selecciono después un número menor me gustaría poder quitar los divs que son para que sean de el mismo número seleccionado, que ya tengo en "restaDos" el número que se debe eliminar, pero se puede indicar en algún lado que quiero que me quite esa cantidad?

o hay una mejor forma de hacerlo?

Agradecería bastante cualquier ayuda!

Aquí está mi código:


$(document).ready(function(){

$('#empleados').change(function() {


var contador = $(this).val(),

nuevosDiv = $('#detalles');
n = $('div #detalles').length;
resta= n - contador;
restaDos= contador - n;

//Aquí es mi duda, esto no funciona, me quita de uno en uno
if(n > contador) {

for (var i = 0; i < resta; i++) {
nuevosDiv.remove();
}

}

else {
//Esto si funciona perfectamente
for (var i = 0; i < restaDos; i++) {

nuevosDiv.clone().insertAfter(nuevosDiv);
}


}
});