Es una buena pregunta, y generalmente quien usa un framework suele casarse con él, por lo que se pierde punto de comparación. Sin embargo, existen algunos tests que nos ayudarían a decidirnos. Este es un test implementado por mootools que calcula la velocidad de selección de elementos del DOM.
http://mootools.net/slickspeed/
Finalizando, la comparación no es absoluta ya que la elección del mejor framework puede ser relativa a la tarea que tengas que programar.
Saludos.