Cita:
Iniciado por sweetlydark 
Ese recuadro esta allí por reglas de accesibilidad, para que personas que no pueden usar el mouse, puede aun acceder los elementos de tu pagina. Por lo tanto sin no molesta mucho es mejor dejarlo.
No obstante, un input tipo submit por defecto sufre también otra transformación en sus bordes al recibir el foco , por lo que el mantener el outline no es imprescindible, o mejor digamos tan imprescindible o no como en cualquier otro elemento.
En este caso concreto Aresillo pregunta específicamente por el submit.