Hay un software específico para esa tarea, que se integra totalmente con Photoshop (como si fuera un plugin, pero cargándose el propio programa "encima" del photoshop, ...solo cuando lo quieras usar, claro).
Se llama
Corel Knockout 2 (más info), el problema es que no es gratuito (como casi nada en esta vida).
Salu2