Para empezar, estas usando un reproductor de MP3 para reproducir tus videos. Después, el que necesitas es el FLV Player
http://www.jeroenwijering.com/?item=JW_FLV_Player
0k, es practicamente lo mismo que has estado usando. Ahora, lo único que necesitas es hacer tu playlist y después hacer que tus imágenes sean las que activen el video que quieres reproducir, esto utilizando las mismas funciones del reproductor. Es realmente muy sencillo, aquí te mando la liga a la página con ejemplos, como verás, no son más que ligas, que es lo mismo que tu harás con tus imágenes.
http://www.jeroenwijering.com/extras/javascript.html
Saludos!!