te dejo un ejemplo que habia hecho para un amigo. no refleja exactamente tu caso pero tiene la misma base: agregar filas, y cada fila tiene un boton independiente para remover las filas.
http://coffeescript.awardspace.com/price_unit/. si lo estudias estoy seguro que de ahi podras sacar ideas o soluciones a tu codigo.