Creo que esto, puede ser una idea, para empezar, pero no es mas que un simple ejemplo, el resto depende de ti, con imaginación e ingenio será facil ya ves que no importa complicarse mucho la vida.
    
Código vb:
Ver originalPrivate Sub RichTextBox1_KeyPress(KeyAscii As Integer)
  If Chr$(KeyAscii) = "[" Or Chr$(KeyAscii) = "]" Then
    RichTextBox1.SelColor = vbBlue
  Else
    RichTextBox1.SelColor = vbBlack
  End If
End Sub
  
Saludos