sencillo, primero crea el boton y con un poco de javascript configuralo para que al pinchar clic agrege [img] [/img]o algo por el estilo a tu textarea Ó que abra una ventana del navegador preguntando la url de la imagen.
en cualquiera de los dos casos la url de la imagen ira dentro de esas dos etiquetas.
una vez tengas este texto como un post o get en tu formulario remplazas [img] con str remplace por: ' <img src=" ' y [/img] asi: ' " /> ' de modo que cuando lo guardes en la bd se guarde como <img src="url.com/imagen.jpg" /> y aparesca en tu post
Espero haberte ayudado.
PD: este ejemplo seria en el caso de una imagen externa