Para usar Red Hat Enterprise Linux
tienes que pagarle a Red Hat. Si quieres una alternativa gratuita, prueba
CentOS, que es un clon de RHEL.
No he usado JBoss, pero en su web dicen que viene con una licencia libre. Supongo que sólo tienes que pagar si lo usas comercialmente, pero no estoy seguro.