Ayuda con una relacion mysql

[mmjj]

Hola, necesito hacer una relación un poco extraña para mi pero muy importante, a ver si me explico con un ejemplo:

tengo una tabla medicos
tengo una tabla pacientes
tengo una tabla consulta

la tabla medicos y pacientes está relacionada por una tabla intermedia que me permite consultar de forma que forman una relación muchos a muchos, el problema es que no sé muy bien como relacionar la tabla consultas para que:
un paciente puede tener varias consultas de un mismo medico y de medicos distintos, luego quiero poder ver las consultas de cada paciente con cada médico y con todos los medicos

Espero que se me haya entendido algo. Cada tabla tiene una clave principal ID , pero no sé como relacionar las consultas

muchas gracias