Esa imagen imagino debe pertenecer a un Chrome.
De acuerdo con lo que tengo visto, Bootstrap no modifica el comportamiento por defecto del navegador.
Ya que en firefox en lugar de verse anaranjado se ven punteado y gris.
Si deseas eliminarlo deberías en tu css incorporar la siguiente regla:
Personalmente no te recomiendo que lo hagas, siempre es bueno tener una indicación de cual elemento tiene foco (además de bueno, mejora la accesibilidad y usabilidad). Sin embargo puedes editarlo de manera que se adecue al estilo de tu página