Full Text Search: Problema al ordenar por relevancia, se tarda mucho

[xcars]

Hola amigos, comente en otro tema el problema que tengo con una BD de 10 millones de registros... ahora bien, si yo hago una consulta normal, del tipo

select nombre from mitabla where match(nombre, direccion) against('harold crow')

me devuelve las filas sin ningun problema y con una buena velocidad, ahora bien si quiero ordenar por relevanci por ejemplo

select nombre, match(nombre,direccion) against('harold crow') as relevancia where match(nombre,direccion) against('harold crow') order by relevancia desc

en este momento el proceso se tarda una eternidad y segun la teoria, esto no deberia de recargar el motor de mySql ya que el motor detecta que hay una operacion que es igual, entonces no entiendo que es lo que sucede, alguien que me pueda ayudar a resolver este problema, porque lo que sucede es que no aparecen ordenados por relevancia y cuesta ubicar la informacion que se busca.

Gracias de antemano