Creo que te conviene más buscar algún chat open source y modificarlo a tus necesidades que hacerlo tu mismo, ya que te ahorraría bastante tiempo...
Ahora que si quieres hacerlo... pues primero sientate a tomar un café con lápiz y papel.... :-0
Tienes que hacer el diseño de la aplicación cliente y del proceso servidor...para eso te recomiendo que le des una buena leída a un libro/tutorial de Java.... claro que si ya sabes el lenguaje pues únicamente enfócate a aprender todo sobre programación en red con sockets y RMI, con esto podrás desarrollar un proceso servidor que escuche en un puerto específico, entonces lanzarás un Thread para procesar cada petición... y... Por parte del cliente puedes Crear un applet donde se implemente la contraparte osea el proceso cliente....esta se ejecutará en la JVM del explorador... y utlizará el mismo puerto que el servidor... La GUI la vas a controlar dentro del applet y la estarás actualizando según se comunican los procesos cliente servidor...
:cantar: Una vez que desarrolles eso... lo demás será pan comido..
saludos....