Pon este código y verás:
<p>
<u>ejemplo de subrayado
</u></p>
<p>se verá asi:</p>
<u>ejemplo de subrayado</u>
Es decir, lo mismo que usas para insertar un espacio, usas los códigos correspondientes para que se muestre un signo
Para más info:
http://www.aulaclic.es/html/t_3_1.htm
Vaya, se me adelantó el jinete JavierB, se ve que perdí mucho tiempo en buscar un link con más info... scotty no echó suficiente carbón al motor de curvatura