Hola,
a ver no entiendo muy bien lo que quieres decir. Pero si te he entendido bien...
¿por qué no pruebas a desactivar los botones en cada partida
tras cerrar la ventana?
(por ejemplo con
setEnable(false))
Aunque lo que es quitar, quitar... deberías de hacerlo con
remove.
De todas formas si dices que en la 2ª partida sólo se añaden los botones necesarios... no entiendo muy bien lo que te pasa.
También podrías generarlos todos cada vez que se inicie una partida.
Espero que te haya dado la solución.