Bueno, vuelvo a lo mismo, no es confiable depender de una variable que es fácilmente manipulable para confirmar el origen de un request.
Si vas a trabajar con formularios y tu inquietud es mantener el procesamiento del mismo controlado, entonces no necesitas saber el referer, necesitas implementar seguros CSRF.
Te sugiero investigar el término.
