Puedes utilizar el método confirm para crear una ventana de confirmación que devuelve true si el usuario ha aceptado y false si no.
Código HTML:
Ver original<form onsubmit="return confirm('¿Está seguro de eliminar?')"> <input type="submit" value="Eliminar" />