Bueno .. lo que comentas tienes dos opciones:
1) Como estos foros. Usan tag própios tipo [php ] código .... [ php] (sin espacios) .. Ahí el "foro" interpreta que lo que está dentro de esos tag hay que colorearlo o aplicar tal función ...Esos "tag" los insertas sobre un <textarea> común HTML por javascript o a manoa escribiendo dicho tag.
El funcionamiento de reconocimento de esos "tags" personalizados en tus cadenas (strings) se puede hacer con simples funciones str_replace() o más complicado pero más efectivo con expresiones regulares.
Puedes hechar un vistazo a estas classes para tal fin:
http://www.phpclasses.org/search.htm...de&go_search=1
2) Con un editor RTF (Texto plano enriquecido) que genera internamente HTML común pero "visualmente" ves el efecto aplicacado según escribes (incluido llamada a imagenes que hasta pueden subiras en ese instante y posicionarlas donde gustes en tu zona de escritura del texto/etc).
Este tipo de editores se programan en DHTML principalmente o bien son algún tipo de ActiveX o similar. (NO PHP .. ). Si quieres saber más sobre este tipo usa el foro de Javascript (y lee sus FAQ's por qué creo que tienen un ejemplo simple).
Un saludo,