Vale es muy facil.
Dentro de el explorador de windows, en el menu, dirigete a:
Herramientas -> Opciones de carpeta ...
Luego,clic en la pestaña
" Tipos de archivo", y de la lista seleccionas el que tiene extension HTML.
Una vez seleccionado, abajo hay un boton de
" Opciones avanzadas.", haz clic en él.
Te aparecerá una ventana, arriba hay un boton que pone
"cambiar icono", luego eliges el que quieres.
Un saludo Fuyubana.