No se puede calcular si el string es una expresión con paréntesis bien cerrados con una expresión regular. De todos modos puedes hacer replaces de los parentesis por elementos de html y luego definir un comportamiento para estos elementos.
Aquí un primer enfoque:
https://jsfiddle.net/3omqkLgb/2/
Un saludo!