Intenta esto:
Es decir, inicia la instrucción normal y agregas dos guiones, después de eso introduce el primer carácter del archivo y después presionas <tab> para auto-completar.
El shell debería escapar correctamente el nombre del archivo y ya con eso deberías poderlo borrar.
PDTA: tu tema, aunque implica el uso de Git es más de Unix en general, así que te sugiero aprendas más al respecto de como moverte con la consola, de otra forma seguirás pensando que se trata de un tema de Git cuando puede suceder con cualquier instrucción.
Ejemplo:
Cita: $ touch "=)) pero no me lo dejo activar porque mi versio\314\201n es mayor a 3,0"
$ rm -- = <tab>