Supongo que te refieres al fundido de máscaras o de bordes de objetos.
En photosop hay varias formas, pero lo ideal es crear una máscara de capa. Si la creas tras definir una selección, después sólo tienes que aplicar a la máscara un poco de desenfoque.
En este tutorial hay una detallada información sobre el trabajo con máscaras:
http://www.ojodigital.com/foro/showthread.php?t=33202