asi:
Código PHP:
echo "bienvenido invitado - <a href=$PHP_SELF?pagina=inicio>registrate aqui</a>";
mientras uses estes dentro de un echo y estes usando doble comillas php te reconoce las varibles.
tambien puede ser asi:
Código PHP:
echo "bienvenido invitado - <a href=".$PHP_SELF."?pagina=inicio>registrate aqui</a>";