Eso lo haces con expresiones regulares.
Si no me equivoco sería algo así
Código PHP:
preg_replace("/\[youtube\](.*)\[\/youtube\]/is", "<embed... >\\1</embed>", $subject);
No recuerdo que sea así, pero quizá funcione xD...
Busca en google, generalmente hay mods para foros que te sirven. Nos vemos.