Pues depende para que necesites el arreglo. Si no necesitas para nada mas las sesiones le das session_destroy si mal no recuerdo, tambien puedes usar sesion_unset que no destruye la sesion pero si libera todas las variables
http://php.net/manual/es/function.session-unset.php
y si solo quieres una variable te vale con unset y en parentesis la variable de sesión que vas a eliminar. No es obligatorio, te lo dejo como opción y depende de lo que deseas hacer piensa si requieres mas ese valor o no (yo me atreveria a pensar que no)