Hola, garridoman.
 
Además de lo que te comenta caricatos (hola  

 , si me descuido chocamos  

 ) tienes que cambiar de lugar el total++ 
if(frm.elements[m].type=='checkbox' && frm.elements[m].checked)
{ 
total++
if (total>3) 
Espero que ahora te marche bien. Saludos,