Hola warlock. En lugar de utilizar alguna de las colecciones que provee el framework, podrías utilizar alguna de las colecciones que contiene la libreria Iesi.Collections . La podés bajar desda
aca. Esta libreria trae soporte para colecciones sin elementos repetidos, es decir, conjuntos.
Espero que te sirva.
Saludos.