en un bucle recorres la coleccion de checkbox y en cada iteracion verificas si al menos existe uno marcado con la propiedad checked. para hacer referencia a la coleccion utilizas el mismo nombre asignado a los checkbox en la funcion getElementsByName. luego a partir de ahi puedes determinar la cantidad de checkbox a recorrer.
Código:
var checkbox = document.getElementsByName('nombre[]');
for(var i = 0; checkbox[i]; i++) if(checkbox[i].checked){
alert("existe al menos un checkbox seleccionado");
break;
}
si es para ser empleado en un funcion, devuelves true o false segun la circunstancia.