Te refieres a algo asi???
Si es asi, solo haz lo siguiente:
Abre tu imagen
Inserta una nueva capa
Dibuja un rectangulo redondeado (con la herramienta del mismo nombre)
Razteriza el rectangulo, En esa misma capa haz Ctrl+ click, invierte la selección y pasate a la capa de la imagen, presiona supr.
Finalmente elimina la capa del rectangulo
Espero me haya explicado y sea lo que necesitabas