"En tiempo real" .. sería complicado. Tal vez tendrías que usar sockets y atener las peticiones que por ahí vengan para simular "al instante".
Lo más factible que se me ocurre es usar ténicas de "remote scripting" para refrescar constantemente algún iframe/frame (oculto) el cual al refrescarse mandará a llamar a tu script que hará tu consulta a tu BD o lo que corresponda para saber si hay algún mensaje mostar y a su vez como lo hará con una ventana que abra o lo que corresponda (en tal caso PHP no "abre" ventanas sino que tu lógica de programación en el script PHP que vas a ejecutar .. lanzará ese código HTML/javacript/etc en el momento que corresponda para hacer esa acción).
Por si quieres ver sobre técnicas de "remote scripting":
http://js-rs.sourceforge.net/
(lee los links hacia la documentación base que mencionan sobre el tema)
2) Usando frames o iframes .. pero esto ya no es taréa de PHP sino de HTML .. lo mismo que el "refresco" automático de la página se puede hacer con cabeceras HTTP de refresh (<meta ... refresh ...>
Un saludo,