En realidad ese metodo no lo soportan los paneles, los que si soportan son.
addContainerListener y addPropertyChangeListener
Con uno de esos dos deberias ser capas de saberlo.
Sin embargo podrias tambien dentro de cada panel agregar un boton del tamaño del panel completo, y a ese boton agregarle dentro una imagen.
Luego solo menajeas el evento del boton
Saludos