Puedes comprobar que el formulario se haya enviado desde tu sitio, ¿no? Vamos, si te he entendido bien una comprobación así evitaría que otra persona hiciera un formulario saltándose la comprobación por AJAX y enviara con su formulario a la página que hayas puesto en action, ya que en tu validación de
referer simplemente
cascaría la pirula —soy muy técnico a veces
.