el problema es que no estas manejando la relacion many to many, sino que estas creandu tu mismo la tabla y generando relacion many to one con esta, prueba con la relacion
manytomany de la manera que lo indica la documentacion y nos indicas si te funciona asi, saludos