bueno si la primera parte del efecto creo que son mascaras
lo ultimo me parece un efecto de elasticidad
aqui tienes un ejemplo de la ultima parte
http://laco.wz.cz/tween/?page=examples
dale click en el ejemplo de organic zooming window
y cuando se abra el ejemplo en el popup
dale click en resize
sldos