Hola!
Pues no sé exactamente que haces en tu programa. No sé si sabes como funciona la gestión de memoria en Java, pero la manera de hacer lo que tú quieres hacer es llamando a la GC (garbage collector, recolector de basura). Para llamarla simplemente ejecuta
Le llevará un poquito de rato, pero liberará todo aquello que quede por liberar. Aún así java debería estar liberando tu memoria automáticamente.