Asumo que tu pagina esta hecha en php, aunque la verdad no diste ninguna información al respecto, pero si es así, y usas Apache en tu servidor la forma mas fácil de hacerlo es usar el mod_rewrite, que declarando algunas reglas para la sobre-escritura te permite crear las URLS como quieres. Pero recuerda que tienes que actualizar manualmente los enlaces en tu pagina para que apunten a las nuevas rutas. Y recuerda, si quieres aprender mas de mod-rewrite, preguntale a google por un tutorial! Salu2.
http://www.google.com/search?q=tutorial+mod_rewrite