Si quieres ejemplos .. vista sitios como hotscripts.com y miras el código fuente de algun foro q haga esa funcionalidad ..
 
Pero si "piensas" un poco y observas como lo hace por ejemplo este foro .. podrias visitas 
www.php.net/manual/es (el manual oficial de PHP) y buscar las funciones de tratamiento de cadenas tipo: str_replace() .. o irte por el tema de expresiones regulares con ereg_replace o preg_match_replace() ... 
Parte del "efecto" final de insertar por ejemplo un "incono" se hace en el "cliente" (en el navegador) con javascript .. pero al final y a efectos de tu BD y como lo vas a reprentar obtendras algo tipo: 
[:)] .. q eso lo sustituiras por <img scr="icono.gif">  
Este ejemplo .. con str_replace te sobra .. Algo mas complejo es recomendable recurrir a las expresiones regulares ... 
Un saludo,