http://docs.oracle.com/javase/1.4.2/...va.lang.String, java.lang.String)
Como puedes ver en la API, el elemento a sustituir se pasa como expresión regular, por lo que puedes definirlo casi como quieras.
Si únicamente quieres números y letras te valdría
replaceAll("\\p{Punct}","")
Pero dependerá de lo que realmente quieras conservar
Aquí más
http://docs.oracle.com/javase/1.4.2/...x/Pattern.html