Si el S.O. tiene el fichero bloqueado por algun motivo, por ejemplo el mismo programa tenga un stream abierto contra el, o algun otro programa lo usa, entonces la JVM no puede borrarlo. Ni Java ni ningun otro lenguaje. Windows es especialista en bloquear ficheros que no hay forma de borrar hasta que algunos procesos se mueren del todo
. Tampoco te suelen dejar borrar un directorio que no esté vacío etc.
Si tienes que borrarlo obligatoriamente antes de continuar, comprueba el programa para ver que la interferencia no la causas tu en tu propio programa, y si no es así, entonces solo te queda darle un mensaje de error al usuario de que no has podido hacerlo. El metodo delete() devuelve un boolean para indicar si se pudo o no hacer el borrado.
En tu caso parece que necesitas borrarlo, asi que parece que tendras que optar por ahí.
S!