Primero entiende siempre el motivo de la excepción
Cita: public class StackOverflowError
extends VirtualMachineError
Thrown when a stack overflow occurs because an application recurses too deeply.
El error aparece cuandoun proceso recursivo se vuelve "demasiado recursivo"
¿Dónde usas tú la recursividad? En la línea 12
num = 13
num - (num % 10) = num
13 - 3 = 10
10 - 0 = 10
10 - 0 = 10