Hola:
Una posibilidad es borrarlo cuando termina el programa java. Puedes "capturar" la terminación del programa java para borrar el fichero. Aquí tienes un
ejemplo de cómo enterarte que el programa java termina.
La clase File también tiene un método deleteOnExit(), que borra el fichero cuando termina la máquina virtual. Quizás también te valga.
Lo que propones, hacerlo en el arranque de la máquina, es más complejo. Tienes que hacer un proceso que arranque con la máquina y se encargue de borrar el fichero. Si debe hacerlo en el arranque, aunque no se entre en sesión, tendrías que hacerlo como un demonio (de unix) o servicio (de windows). Si quieres borrarlo cuando entre un usuario concreto en sesión, podría valerte con poner el programa que borra el fichero en el script de entrada en sesión (en linux) o en el menú de "inicio" en windows.
Si estás en linux, bastaría guardar
Se bueno.