Cuando le das a enviar el form, estás haciendo un INSERT en la tabla de mensajes.
Pues ahora, después de insertar, haces un UPDATE para la tabla de usuarios, y donde ponga el número de mensajes, sumas 1.
Código PHP:
//Insertas el mensaje
mysql_query("INSERT into mensajes..... bla bla");
//Actualizas la tabla de usuarios para sumar 1
mysql_query("UPDATE usuarios SET mensajes=mensajes+1 where usuario='nombre_de_usuario'");
Cambia
nombre_de_usuario por el nombre de usuario o por la variable correspondiente, et voila.
Suerte