Consultas con join

[MrGilbertMan]

Buenas tengo la siguiente pregunta sobre una consulta con JOIN

En mi web los usuarios pueden hacerse amigos y los guardo sus ids en una tabla
por ejemplo

TABLA AMIGOS

MI_ID ID_AMIGO
1 . . . . . 2
2 . . . . . 3

Ahora tengo una tabla de favoritos con la misma estructura y relacionada con amigos por MI_ID

TABLA FAVORITOS

MI_ID ID_AMIGO


Para ver los amigos favoritos de un usuario

SELECT * FROM amigos JOIN favoritos ON amigos.mi_id=favoritos.mi_id WHERE amigos.mi_id=$MI_ID

Pero me complico cuando quiero ver los amigos que NO son favoritos.
Me enseña una lista con todos los amigos incluidos los favoritos, pero éstos quiero descartarlos.

Ya he probado con RIGHT JOIN, LEFT JOIN poniendo ON y sin ponerlo y nada, no doy con la tecla.

Me pueden ayudar.
Gracias