Problema resuelto!!
Efectivamente, el problema era el uso de system.exit... Lo descubrí cinco minutos antes de tu última respuesta.
En cualquier caso, comento la solución final que he adoptado, por si le resulta de utilidad a alguien:
1. Al principio, cargo el applet en una ventana nueva haciendo uso de la función javascript window.open. Así obtengo la típica ventana de navegador que no tiene barra de herramientas y demás.
2. Al cerrar el applet, hago el proceso inverso: desde java cargo un nuevo documento html en la ventana donde se está mostrando el applet (función showDocument() con el parámetro _self). Dicha documento contiene el código javascript para cerrar ventanas (window.close()).
De este modo, consigo cerrar SÓLO el applet que verdaderamente quiero cerrar, sin afectar a ningún otro applet ni al resto de instancias abiertas del navegador.
Muchas gracias por la ayuda
P.D: ¿por qué nos enseñarán a ser tan chapuceros (por ejemplo, usando el system.exit()) en lugar de contarnos las cosas como son en realidad?