Hola,
De la misma forma que se puede simular un POST, tambien se puede simular el Referer, ya que es un valor de una cabecera que manda el navegador. Eso si, ya hay que saber como hacerlo y con que herramienta. No es tan sencillo como probar URL o crear un formulario que apunte a tu PHP.
Lo ideal seria mantener lo maximo de comprobaciones en el lado del servidor. Ahi es donde residen los datos de las sesiones. Y tambien ayuda que el PHP compruebe todos los datos que le vienen y que los analice para ver si son algun ataque.
Como no se que hace tu PHP, no puedo dar consejos mas concretos.
Revisa este link sobre seguridad de aplicaciones web
http://www.owasp.org/
Suerte.