Si
muestra es un string tienes un problema de comillas:
Código:
<form name="form2" method="post" id="form2" action="ventanaAnalisisVarianza4.jsp" onSubmit="return validar(this,\"<%=muestra%>\");">
Se pueden poner comillas dentro de comillas tanto escapándolas (\") como poniendo comilla simple (').
Saludos.