ok. para que puedas usar setMask tienes que tener 2 movieClips. Uno va a ser la máscara y el otro va a ser lo que quieres enmascarar (lo que quieres que se vea).
ok. se pueden hacer máscaras complejas ya que puedes meterle tanto ActionScript como quieras a la máscara ya que es un movieClip.
ahora...
supongamos que quieres enmascarar una imagen deltro de un mc llamado img_mc, y la máscara movieClip que tiene una animación ya sea de tweening o como sea se llama mask_mc. Entonces lo único que tienes que hacer es usar setMask en el mc que quieres enmascarar y pasarle como parámetro el mc máscara.
ahora la imágen se vera solamente en los lugares por donde pase el movieClip animado.