esta bien con removeClass, especifica cuales separadas por espacio
el siguiente span tiene clases "letraRoja, tamano y borde", al hacerle clic elimino las clases "letraRoja y tamano" pero no "borde" y añado la clase "letraAzul"
Código HTML:
<head>
<title>EJEMPLO</title>
<script type="text/javascript" src="http://ajax.googleapis.com/ajax/libs/jquery/1.4/jquery.min.js"></script>
<script>
$( function (){
$("span").click(function(){
$(this).removeClass('letraRoja tamano').addClass('letraAzul');
});
});
</script>
<style>
.letraAzul{color:blue}
.letraRoja{color:red}
.tamano{font-size:26px}
.borde{border:1px solid #000}
</style>
</head>
<body>
<span class="letraRoja tamano borde">Texto ejemplo</span>
</body>
</html>