Hola
A ver, lo que te decía es algo tan simple como esto:
Código:
var numero = Math.random();
var texto = String(numero);
var cosa_final = texto.substring(3,4);
var numero_final = Number(cosa_final);
Con eso obtienes siempre un número.
Obviamente, como es aleatorio, podría repetir el número dos veces, o más, pero es poco probable.
Siempre podrías generar el número dentro de una función que almacene cada número generado, de forma que evites tanto como quieras las repeticiones.
Felicidad