El MATCH .. AGAINST.. es de por sí un modo de búsqueda de baja eficiencia porque el sentido es ubicar algo dentro de un contexto muy grande. Optimizarlo tiene muchos más problemas que optimizar otro tipo de consultas.
En todo caso lo que debes hacer es determinar
que condiciones adicionales te pueden permitir eliminar opciones, es decir aumentar la selectividad de la consulta.
No es lo mismo ponerlo así:
que así:
o incluso que así:
La performance de la consulta puede cambiar en cuanto agregas condiciones, o realizas algún tipo de filtrado adicional, sea o no cruzando esa tabla con otra.