Hola, todo lo que no sea componentes ni librerías java, va fuera del directorio WEB-INF, pero ubicados dentro de la raíz de la aplicación web. Es decir los archivos js, css, html, jsp, imagenes, van fuera del WEB-INF.
Más info en:
http://www.osmosislatina.com/java/wars.htm
Ahora, para hacer un cambio en una aplicación que ya esta empaquetada, pues primero la desampequetas, luego reemplazas el archivo que has modificado, finalmente vuelves a empaquetar y "redeployar" la aplicación (reiniciar la aplicación, no el servidor).
A veces, la aplicación se redeploya automáticamente, esto ya depende del servidor sobre el cual estes trabajando y como este configurado.
Las facilidades de empaquetado (hacer los jar, wars y ears) tambien dependen del IDE con el cual trabajes.