Necesitarías un interprete de scripts en Java, algo así como como BeanShell:
http://www.beanshell.org/, ya que aunque en un futuro se incluirá en el JDK soporte por defecto para lenguajes de ese tipo, todavía no está.
No es el mismo tipo de "dinamismo", asi que los Threads no tienen nada que ver.
Si te sirve tener código ya compilado y configurar la ejecución adecuadamente, te serás más fácil que interpretar programas al vuelo, pero todo depende de los requerimientos que tengas.
Un saludo