Okey, aca te hice un ejemplo para que veas, es muy sencillo, hay otras formas de hacer lo mismo.
1er paso, duplicas el background, y dibujas el rectangulo con esquinas redondeadas, en el ejemplo use unas esquinas de 30px
2do paso, haces CTRL + click sobre la capa del rectangulo, para tomarlo como seleccion, luego ocultas la capa del rectangulo, para que no moleste.
3er paso, invierte la seleccion (Shift + CTRL + I) y presionas DELETE o suprimir, asi borraras el area que quedo seleccionada, para ver como queda, borras u ocultas la capa de fondo.
Listo, asi o algo similar tendria que quedarte.
Suerte!!