_Una_ API (en general) es un conjunto de funciones de apoyo de algún programa, sistema, etc. Cuando nos referimos a la "API" a secas nos estamos refieriendo a la API de Windows. Windows te provee unas funciones públicas. Ésas y ninguna más. Con esas funciones se consigue todo lo que estás viendo.
Para conseguir lo que tú dices, necesitas usar la API, como mencionas. Pero te va a resultar MUY difícil si no comprendes la API, los punteros, y en general la programación fuera de lo básico de VB.
Necesitas usar las funciones gráficas de Windows para _pintar_ tu formulario. ¿Cómo? Pues realmente es algo extenso explicarlo. En el post: "Hacer un post de forma no rectangular" (o similar) doy explicaciones y un enlace a un tutorial en español. Aquí también te paso otro:
http://winapi.conclase.net/curso/index.php?cap=000
Sólo decir que está sobre C++ y deberás portar el código, lo cual no creo que sea demasiado sencillo desde VB... Ten en cuenta que las funciones de Windows y aplicaciones de ése estilo (hecho todo a mano, como WinAmp), están en puro C++ con pura API de Windows, sin nada "pre-hecho", por lo que te resultará costoso.