ayudita con while anidado para mostrar datos

[summerblack]

Hola amigos, el dia de hoy vine porque me salio un reto y no se muy bien como solucionarlo, resulta que tengo una
tabla clientes en ella guardo cada cliente con un id
y tengo una tabla grupos y alli guardo cada grupo con un id
y tengo la tabla clientes_grupos y alli aguardo el id del cliente junto con el id del grupo, y asi un cliente puede estar en 1 o varios grupos y viceversa, pero al imprimir en mi tabla, aquellos grupos que no se han agregado al cliente, me esta imprimiendo repetidas veces y necesito que me imprima una sola vez: por ejemplo

TBL_GRUPOS
1
2
3
4

TBL_GRUPOS_CLIENTES
1
2

entonces que solo imprima
3
4

pero no lo logro hacer, actualmente me esta imprimiendo:
1
2
3
3
4
4

Alguna ayudita de como lo pueda arreglar?

LES DEJO EL CODE:

Código Javascript:

$consulta = "SELECT * FROM grupos";
            $resultado=$sql->query($consulta);
            $tabla=  '<table>';         
            while ($fila =mysql_fetch_assoc($resultado))
                    {
                        
                        $consulta1 = "SELECT * FROM grupos,clientes_grupos WHERE Idcliente='".$cliente."'  and clientes_grupos.IdGrupo=grupos.IdGrupo;";
                        $resultado1=$sql->query($consulta1);
                        
                        while ($fila1 = mysql_fetch_assoc($resultado1))
                        {
                            if ($fila['IdGrupo'] != $fila1['IdGrupo'])
                            {
                                $tabla .= '<tr id='.$fila['IdGrupo'].'>';
                                $tabla .=    '<td>'.$fila['Nombre'].'</td>';
                                $tabla .=    '<td><a href="javascript:agregar_al_Grupo('.$fila['IdGrupo'].','.$idcliente.')"><img title="Agregar al Grupo" width=20px; src="img/agregar.png"></a></td>';
                                $tabla .= '</tr>';
                            }
                            else echo '';
                        }               
                    }
            $tabla .= '</table>';
            echo ($tabla);
 

gracias