Bueno, es bastante sencillo, es decir incluso puedes hacerte la aplicacion solo en PHP-GTK y usar el protocolo de Microsoft para las charlas, el tema de usar un servidor de BBDD tipo MySQL como dic cluster es muy poco recomendable
imaginate unas 10000 consultas simultaneas jej vaya desastre seria
lo idoneo para este tipo de aplicaciones es hacer uso de sockets como muy bien dijo tb cluster
o sino ultimamente el lenguiaje XML es el rey de todo esto, sino miren el protocolo Jabber o en Flash XMLSockets precisamente para realizar aplicaciones de este tipo.
Mi recomendacion .... hacer uso de un protocolo ya existente y si eso crear la interfaz en PHP-GTK u otro lenguaje, si no tienes mucha idea de programacion de Sockets no te recomiendo que empieces a hacer un protocolo ya que es bastante bastante complicado (lo digo por experiencia jeje hice lo mismo que quieres hacer) jeje
Saludillos!