Hola,
Me parece que es mas una pregunta de Javascript.
Probaste con getElementsByName?
Código PHP:
var numMarcados=0;
var i=0;
var checks=document.getElementsByName("listas[]");
while (numMarcados<4 && i<checks.length){
if(checks[i].checked){
numMarcados++;
}
i++;
}
(es javascript, lo puse como php para que se lea mejor)
...
Suerte