Mirando la API no se ve ningun metodo que permita lo que quieres, a menos que invalides la session, pero eso solo es util si quieres que la session ya no sea mas una session valida mediante el metodo invalidate()
Sin embrago aqui te dejo un algoritmo que puede remover todos los objetos facilmente
Código PHP:
Enumeration enum = session.getAttributeNames();
while(enum.hasMoreElements()) {
session.removeAttribute(enum.next().toString());
}
Saludos