Los archivos de sesión no se borran en tu servidor tan pronto matas tu sesión (con unset($_SESSION) y/o session_destroy().
El tiempo de expiración de una sesión lo determina la directiva:
session.gc_maxlifetime
Y cuando ese tiempo se supera .. la sesión queda deshabilitada .. pero el archivo va a seguir ahí hasta que se inicie el proceso de "garbage" (recolección de basura) que lo determina en porcentaje la directiva:
session.gc_probability
Ese será el porcentaje de veces que se hace un "session_start()" .. teóricamente a ese porcentaje todos los archivos de sesión que estén marcados como "garbage" se eliminaran .. (tambien hay un tema de donde está el directorio donde almacenas tus sesiones y S.O. del servidor al parecer .. ).
Revisa la documentación oficial de PHP para ve como funcionana las sesiones a ese nivel:
http://www.php.net/session
Un saludo,