Eliminar cierta cantidad de divs

[alejandromg]

Ya que estas usando jQuery lo más fácil seria tener destinada una div como el espacio para los nuevos.

Código HTML:

<select id="empleados"> 
  <option> 1</option>
  <option>2</option>
  <option>3</option>
  <option>4</option>
</select>
<div id="clones">
  <div id="detalles">Hola</div>
</div>
 

Código Javascript:

$(document).ready(function(){
    $('#empleados').change(function() {
      var contador  = $(this).val(),
          nuevosDiv = $('#detalles'),
          n         = $('div #detalles').length,
          resta     = n - contador,
          restaDos  = contador - n;
 
      // Aquí  ubicas el último div y lo remueves usando el selector :last-child o :last en mi caso
      if(n > contador) {
        for (var i = 0; i < resta; i++) {
          $('#clones div:last').remove()
        }
      } else {
        for (var i = 0; i < restaDos; i++) {
          nuevosDiv.clone().insertAfter(nuevosDiv);
        }
      }
    });
  });
 

Esto deberia de funcionar, ya que estas "clonando", lo mejor es que todos tus clones esten dentro de un contenedor ("#clones"), luego solo eliminas el último de los miembros.

Saludos y buena suerte aprendiendo js :)