Hola, rulerson.
Suponiendo que tu iframe se llama
ifra y que tienes los checkbox dentro de un form llamado
frm la función sería algo como esto:
Código PHP:
function validar() {
elem=ifra.document.frm.elements;
for(i=0;i<elem.length;i++)
if (elem[i].checked)
return
alert('Marca algún checkbox, tío');
Saludos,