El problema debe estar en el where que utilizas.
Yo probé la solución y creo que es lo que quieres.
Código MySQL:
Ver original+------+
| id |
+------+
| 4 |
| 5 |
| 6 |
+------+
+------+
| id |
+------+
| 1 |
| 2 |
| 4 |
| 3 |
+------+
Entre estas dos tablas, el unico registro que no debería mostrar es el 4, ya que se encuentra en ambas tablas.
si se aplica la consulta
Código MySQL:
Ver original+------+
| id |
+------+
| 1 |
| 2 |
| 3 |
| 5 |
| 6 |
+------+
Efectivamente excluye el 4 que se encuentra repetido.
Con esto, ya puedes mirar la forma de acomodar el resto de campos sin que te interfiera con esta condición.
saludos