Para esto, tendrás que utilizar la función Mid.
Deberás hacer un bucle a tu cadena para revisar caracter por caracter y poder resolver lo que está dentro de paréntesis primero.
por ejemplo:
for i as integer = 0 to operacion.lengh
if mid(operacion,i,1) = "(" Then
'grabas la posicion de apertura de un signo, o sea, el valor de i. Luego buscar la posición de cierre del signo, restas la diferencia y tendrás la cantidad de caracteres existentes. Etc.
End If
next
Esto es una idea. Deberás identificar caracter por caracter para determinar la operación y los valores.
La verdad que el programita estaría bastante entretenido...
