Tu problema estaba en las comillas, si te fijas al acceder a un elemento del arreglo $_SESSION usabas el mismo tipo de comillas que el de la cadena, por lo que estabas cerrando antes de tiempo la cadena.
Como bien sale en la respuesta de arriba, la solución es esa, aunque las ultimas comillas están demás.
Código PHP:
header("Location: ".$_SERVER['HTTP_REFERER']);