Bueno, en C:\Windows\Fonts, estan las fuentes de las que haces uso en todos tus programas, lo que tenes que hacer es distribuir las fuentes con tu aplicacion, el problema es que como no has hecho instalador, no se si funcione con copiar las fuentes a la carpeta de tu aplicacion, tendrias que probarlo
Saludos
