Es muy mala idea ejecutar comandos de escritorio desde PHP, porque PHP se ejecuta en un servidor y no en un escritorio.
Vamos a suponer que logres hacerlo funcionar, no le veo utilidad a abrir un bloc de notas desde el navegador.
Por tanto, sería mejor que aclares lo que realmente quieres hacer; muchos de nosotros hemos usado exec() para ejecutar scripts de respaldo, mantenimiento de la base de datos, conversión de archivos, etc. y no es tan difícil.
Por cierto, el navegador se queda "pensando" porque la función exec() no devuelve el control al script hasta que el programa ejecutado haya finalizado, por eso es que generalmente se deben ejecutar en segundo plano:
Código PHP:
Ver original// >/dev/null & ---- Esto es lo que hace que se ejecute en segundo plano
exec("comando.exe> /dev/null &");
Esto no garantiza que el comando sea ejecutado, pero sí que el script recupere el control y no deje al navegador "pensando".