En PHP en general puedes conectarte vía sockets a cualquier servidor y protocolo .. ahora, dependerá de tus conocimientos del protocolo que te conectas si controlas o no lo que por ahí envies y recibas (datos) .. pues PHP sólo te pone a tu disposición las funciones básicas para abrir el puerto (conectarte) y "escuchar" por el además de enviar datos a ese puerto abierto.
Revisa las funciones de la familia:
www.php.net/fsockopen
Si usas google seguro que salen muchos scripts para hacer esa taréa tipo:
http://www.phpfreaks.com/quickcode/code/178.php
Como veras .. se trata de implementar el protocolo IRC y accederlo desde PHP vía sockets (lo mismo que hacen los Applet java que conoces ya (que no son "javascript" sino Applet java))
Cita: Pd. Descarto sugerencias sobre Javascript.
No deberías descartarlas .. pues lo que vas hacer con PHP es la conexión a tu servidor .. pero el hecho de evitar refrescos y demás de tus páginas sería bueno que estudiases sobre "Remote Scripting" que se basa en frames/iframes ocultos y muchooo javascript, como para hacer un chat vía web lo más fluido posible .. O incluso usando flash para esa interface (fuera de que la conexión la vas hacer vía PHP).
Un saludo,