Creo que sería mejor agregar un campo al Usuario, de tipo "muchos a muchos" (
many to many). Esto te permitiría acceder a los Hospitales a los que el Usuario está asignado.
Es solamente un campo más en tu modelo, que django transforma en una tabla que relaciona los dos tipos de objeto.
A eso me refería con "mala estructuración", aunque quizás no fui claro.
Saludos.