Relaciones muchos a muchos en varias tablas

[Chico3001]

Haber si me pueden echar una mano por que ya me hice reverendos lios en una base que quiero diseñar para aprender programacion

Tengo las siguientes tablas:

Grupos: contiene la informacion de acceso, que usuarios pueden ver a que empresas y que personas
Empresas: contiene todos los nombres y direcciones de cada empresa
Telefonos: contiene solo numeros telefonicos de empresas y personas
Personas: contiene los datos de cada persona

Pense en hacer 4 tablas de relacion, una de grupos-empresas para saber los permisos de acceso ya que no todos los usuarios pueden ver todas las empresas, otra de personas-empresas para saber que personas trabajan en que empresas, una de empresas-telefonos para saber los telefonos corporativos y finalmente una de personas-telefonos para saber los telefonos personales, sin embargo se esta haciendo un lio a la hora de obtener la informacion... las consultas se hacen muy grandes por que se necesita unir informacion de varias tablas al mostrar un directorio

Se les ocurre un modo mas eficiente de relacionar estas tablas?

Cualquier ayuda se agradece

Saludos...