Para insertar una imágen que haga de submit button usa:
Código HTML:
<input type="image" src="image.gif">
Para que te mantenga el contenido del form al regresar me parece que podés usar JavaScript, aunque honestamente no estoy muy seguro de cómo. También podrías usar PHP (si querés probar con php avisame y te digo cómo).
Suerte
Fede