No es obligatorio configurar la autenticación del stmp con phpmailer.
El problema de que tus correos se filtren como spam es justamente por lo que comentás de que los usuarios no rellenan el campo de correo electrónico, y como resultado el mail llega con un remitente vacío.
Un mail que llega con remitente vacío claramente va a filtrarse como spam ya que no tiene razón de ser.
Mi consejo es que incluyas una pequeña validación con javascript en tu formulario para que el campo de correo electrónico no quede vacío. Incluso con agregar el atributo required en tu campo input y como tipo email, ya tendrías una buena parte de la validación cubierta.
Código HTML:
<input type="email" name="email" required="required" />
Saludos!
P.D: No estaría mal que lo valides también del lado del servidor en el caso de que a alguien se le ocurra desactivar el JS.