Que tal si:
1)almacenás los valores posibles en un array
2)seleccionás con Math.random un valor de índice teniendo en cuenta el length del array
3)quitás con splice el valor del índice seleccionado del array
4)repetís el proceso hasta que el array quede vacío o que no quieras más valores