Hola,
¿Que lenguaje y cual código de ciudad está establecido por defecto en tu sistema operativo? La clase DecimalFormat, como casi todas las clases de Java que pueden manejan datos internacionales, están afectas al lugar que tengas configurado por defecto en el sistema.
Existen varias formas de cambiar la ubicación o lugar por defecto, lo mas aconsejable desde cualquier punto de vista es que configures bien tu sistema operativo para que refleje exactamente la ubicación donde te encuentras. Esto no solo afecta a Java, sino a todos los programas.
Busca mayor información sobre la clase 'Locale' o Java I18N.
Saludos,