Hola..
Primero debes dividir la cadena o String en pedazos...busca StringTokenizer...
Luego utilizar Uilizar algo como una Pila LIFO (Last In First Out) en donde vas analizando cada elemento si es un operador o si es un operando... teniendo en cuenta además que hay cierta jerarquía de los operandos, es decir, primero se evalúa una multiplicación o una división y luego una suma o resta....
No debes olvidarte de los paréntesis, llaves o corchetes, muy comunes en las matemáticas....
Busca también por notación Polaca.
Yo recuerdo que implementé uno, con funciones, trigonométricas, entre otros, pero la verdad fue hace 10 años y no recuerdo que pasó con los fuentes de ese proyecto...
http://media.mgonzalez.cl/Asignatura...#37;202009.pdf