Hola,
.- Primero, no me llames "viejo" que no lo soy tanto
.
.- Segundo, si, en este caso podrías haber usado jar... poniendo los dos ficheros. Pero en el futuro cuando hagas programas más complejos te saldran bastantes más clases y no es práctico ir poniendolas una a una, así que mejor empezar a usar lo más comodo.
.- Tercero, ese archivo corresponde a una clase interna (Inner Class) que no tiene nombre, y por eso el JDK le asigna un nombre. Como es una clase interna de HolaMundo, pues le pone HolaMundo$1. Si tuvieras más clases internas, las iria llamando HolaMundo$2.. $3... Busca en un manual de Java el concepto de Inner clases anónimas y veras de donde salen.
Saludos
PD: Tambien sería conveniente que miraras el concepto de paquetes y lo fueras aplicando, por que en cuanto hagas algo serio, tendras que ponerlo en paquetes.