Hay dos formas de hacerlo:
 
1) hacer una carpeta por página y un index en cada una donde tengas la página html a mostrar, por lo tanto en tu caso tendrías así: 
root/contacto/index.html 
allí puedes acceder tipeando  www.tuweb.com/contacto 
y no muestra el .html 
2) La otra opción ya no tiene que ver con html, sino con Apache, crear un sistema de urls amigables para que al tipear www.tuweb.com/contacto busque la página root/contacto.html 
Ejemplo funcional (si no me equivoco jaja): 
.htaccess:    
Código Apache:
Ver originalRewriteEngine on
RewriteRule ^contacto$ contacto.html [QSA]
  
Saludos!