Bueno con java puedes hacer aplicaciones como dices al tipo VB, Delphi, C, C++ (padre de java), y ya sabes lo que se hace con java y el web...con la pequeña diferencia de que una aplicacion hecha en java corre bajo cualquier sistema operativo, sin tener que hacer otra aplicacion para x sistema operativo.. ;)
Antes que nada esos tres componente que pides estan incluidos en el JDK (java Development Kit), que es gratis proporcionado por SUN.
Y para aprender hacer tu propio código sólo tienes que ver los tutorias, manuales, etc o hacer un curso de java...
De aqui te bajas el JDK lo cual es lo único que necesitas para trabajar con Java
http://java.sun.com/j2se/1.4.2/download.html
aqui tienes como comenzar
http://java.sun.com/docs/books/tutorial/
y un lugar muy bueno aparte de este foro es
http://www.javahispano.com
Saludos