Has probado con permisos, hacer que los usuarios se registren para poder descargar el archivo?, así si alguien intenta bajarse el archivo desde un enlace externo, por mucho que copie la ruta, si no tiene permisos, para acceder, no podrá bajarselo.
bichomen