Permiso Tabla Usuario Dominio

[GeraMx]

Buen día ya anduve buscando en el foro y no encuentro algún tema similar espero me puedan ayudar con mi problema o me digan si es posible.

Tengo un servidor de BD al cual los usuarios que ingresan se validan con la cuenta de dominio en los Logins del servidor esta agregado el grupo de usuarios como public pero hay una tabla en especifico que quiero que pueda modificar un usuarios o varios usuarios pero ese usuario esta dentro del grupo de dominio que tiene permisos public si le pongo denegar al grupo bloqueo al usuario aunque lo especifique,

como podría bloquear esa tabla para que todos puedan leerla pero solo algunos puedan consultarla.

no se si me explique o se pueda hacer con los grupos o tendria que crear un esquema... creo que ando muy perdido espero me puedan orientar un poco para saber por donde buscar.

Saludos.