buenas...
básicamente tienes que hacer tres cosas: detectar la tecla Enter, simular un click al botón deseado, y detener el evento del campo al presionar Enter. para ello, necesitarás de un evento relacionado al teclado, por ejemplo onkeypress. para detectar la tecla Enter tienes que leer la propiedad keyCode o which del objeto event el cual devuelve un número y este lo comparas con el equivalente a Enter (13). si es el mismo valor, haces referencia al botón deseado y luego invocas el método click() y seguido devuelves un boolean false. este boolean false es necesario porque los navegadores responden al Enter en ciertos campos como si fuera un submit.