El problema esque el m3u solo es una lista de archivos, en este caso de mp3, por lo tanto al iniciarse la lista, va a ir cargando los mp3 uno a uno, y como sabes un mp3 en promedio pesa unos 4MB, o sea, primero cargara l os 4 MB y luego comenzara a tocar, además que, es necesario tener una aplicación que reconozca el formato m3u, como lo es el Winamp.
En tu caso te recomiendo que pases esos mp3 a formato RealMedia, y puedes crear una lista igual, pero en vez de extensión m3u es ram, ejemplo:
archivo lista.ram
http://tupagina.com/archivo1.rm http://tupagina.com/archivo2.rm http://tupagina.com/archivo3.rm
donde archivoX.rm es un archivo RealMedia, estos los puedes hacer con el RealProducer que encuentras en realnetworks.com