Me temo que forzar la descarga de un pdf, usando sólo html lo vas a tener un poco dificil; porque eso dependerá de como tengan configurado el navegador, y lo más normal es que lo tengan configurado para que lo abra directamente. En PHP por ejemplo, si que podrías forzar a que el usuario lo bajara.
Aquí te dejo el código para que cargue el pdf al pinchar en el botón.
Código HTML:
<input type="button" value="Descargar archivo" onclick="window.location.href='http://www.servidor.com/archivo.pdf'">