No es fallo, es el comportamiento común de los navegadores, guardan todo en cache para evitar recargar los recursos.
Existe "Expires headers" que indica cuando un recurso expira (obvio =) ) y el navegador lo carga del servidor.
Otra cosa que puedes hacer para evitar el cache, es agregar un sufijo a la ruta de tus imágenes
http://dominio.com/folder/imagen.png?ver=1
Cambiando "?ver=2" "?ver=3" etc según hagas los cambios.
Redondeando, no es fallo de Firefox si no de la lógica de la aplicación.
Saludos!