@agleiva si lees bien entenderías que se refiere al "key" que contiene el "infoobjeto" que en el dictionary es el value, no al "Key" que hace de índice para el diccionario.
@hechicerd0 quizás tendrías que plantearte como estás planteando el problema. De entrada, la solución más rápida sin saber bien el dominio de tu problema, sería usar diccionarios anidados, algo así:
Cita: Dictionary<Key1, Dictionary<Key2, InfoObjeto(cantidad, padre)>>