Ese recuadro esta allí por reglas de accesibilidad, para que personas que no pueden usar el mouse, puede aun acceder los elementos de tu pagina. Por lo tanto sin no molesta mucho es mejor dejarlo.
Eso dicho puedes usar:
Código:
<input type="submit" onfocus="this.blur();" value="Buscar">
para inputs o
para links.