Hola... lo más sencillo de esto ultimo es que tu "link" de "Cerrar sesió" apunte a un archivo "logout.php" como el que sigue:
Código PHP:
<?php
session_start();
session_unset();
session_destroy();
header('Location: login.php');
exit();
?>
Esto hace que se cierre y se destruya la sesión y cuando acabe te redirecciona al script donde el usuario vuelve a "firmarse" (login.php).
Un saludo