Sencillo :)
te creas una tabla q sea "chat" en plan
id | from_user | to_user | text
Después, haces una funcion js que consulte por AJAX a "server.php" si hay algun mensaje nuevo para ese usuario, usuarios nuevos, etc
Tambien que tengas la opcion de mandar un mensaje a un usuario
Y en server.php haces la lógica de buscar mensajes nuevos, insertar mensajes, mostrar usuarios, etc :)
Sino, siempre puedes buscar un "chat simple ajax" ( ;) ) y mirar como está hecho... y adaptarlo :)
(Ejemplos:
http://net.tutsplus.com/tutorials/ja...t-application/ )