Para eso en plan sencillo, tienes que persistir la sesión con 
session_start() y después controlar que quieres que aparezca y que no. 
Eso ya depende de tus necesidades. 
Mas o menos sería así:
 Código PHP:
    //index.php
session_start();
 
//... cualquier código de la web
 
if($_SESSION['username'] == null)
// o cualquier otra comprobación que creas necesaria
{
    //... mostar botón de login
}
else
{
    //... mostar botón cerrar sesión
}
 
//... resto del código de la web 
    
  Lo mismo para cualquier otra parte que quieras controlar según esté o no la sesión activa. 
Saludos,