Hola:
Las aplicaciones normales de un sistema operativo (como hh.exe, notepad, word, acrobat o cualquier otra) no saben abrir ficheros que están dentro de un jar, por lo que no puedes hacerlo de ninguna manera. En netbeans te funciona porque el IDE no trabaja sobre el jar, sino sobre todos los ficheros en tu estructura de directorios del proyecto, por lo que el fichero de ayuda cuando ejecutas desde netbeans NO está metido en ningún jar.
La única opción es que tu aplicación de alguna forma extraiga el fichero y luego haga lo que estás haciendo con Runtime.getRuntime(), pero sobre el fichero extraido. Para extraer el fichero puedes leerlo a partir de su URL tal cual la estás obteniendo y escribirlo en un fichero externo, o bien puedes usar las clases de java.util.jar
http://download.oracle.com/javase/6/...e-summary.html para hacer la extracción.
Se bueno.