Hola, lo que yo trataría de hacer es una función que verifique la posición del puntero del mouse en el eje X y el eje Y (_xmouse,_ymouse) y lo compare el tamaño del botón principal que tienes de fondo, si se sale fuera de los límites entonces que haga las acciones del rollOut.
Es posible que tengas que llamar a esta función también en los rollOuts de los otros dos sub botones, ya que si retiras el mouse de un sub botón con mucha rapidez puede no ejecutarse el rollover/rollOut del botón principal.
Seguramente existen formas más profesinales de hacer esto, pero no se me ocurren ahora.
Saludos