Pues he intentado con el código que has dejado primero, funciono aunque no del todo pues el primero se paralizo al comenzar el segundo...
luego cambie por el otro código he igual se detuvo el primero y el segundo se acelero.. Por cierto no entendí a que te refieres con usar varios ActionListener el único que uso es el que vez en el código y estoy tratando de que funciones en múltiples botones es decir varios cronómetros de tiempo pero no logro que funcionen :(