Pues tienes dos opciones:
1) Creas tus propios "meta tags" o bBcode que llaman .. donde el link lo indicas tipo:
[link ]http://www.tal.tal [/link ]
ó algo más complejo:
[link=http://www.tal.tal ]Pincha aquí[/link ]
Se puede usar str_replace() o expresiones regulares .. dependiendo de lo que busques. Esos "tags" o "bbcode" própio los insertarás en tu "textarea" bien a mano (escribiendolo) o con ayuda de javascript (como veras que lo hacen esos foros y sus botones).
Ejemplo:
http://www.01php.com/fiche-sources-5.html
2) Reconoces dentro del contexto de tu mensaje (lo que escribes en tu textarea) todo lo que cumpla un patrón standard de "URL" (link) tipo:
http://www.tal.tal o
www.tal.tal .. o similares. Se usa principalmente expresiones regulares.
Ejemplo:
http://www.totallyphp.co.uk/code/con...hyperlinks.htm
Un saludo,