Si lo vas a hacer a mano debes mirar el formato y luego crearlo en cualquier editor: notepad++, dreamweaver, eclipse, etc.
Si lo vas a hacer dinámico, es un tema de programación no de SEO, y solo debes saber PHP (o el que uses) y algo de XML.
Verifica el formato en:
http://www.sitemaps.org/protocol.php
Sabiendo eso, luego es hacer un while, echo por cada elemento de tu base de datos :)