Hola:
Tal como lo tienes debería escucharse en firefox... tal vez sería más completo poner el atributo type="audio/mpeg"... ese mismo tag embed es el que hay en esta página:
Música en la web chequeado en IE, FF, Opera, Safari y Chrome.
Y por cierto, para que funcione sin detenerse durante la navegación el único truco es tener el sonido en un (i)frame y en otro navegar...
Saludos
