Si tienes java 6, la clase Desktop permite abrir un fichero con la aplicación por defecto que tenga configurada el sistema operativo. En caso de xls en windows, sería posiblemente excel. En linux probablemente openoffice.
Aqui tienes un ejemplo
http://blog.chuidiang.com/2008/05/06...top-en-java-6/
En el caso que comentas, estás intentando abrirlo con cmd.exe. Abre una ventana de comandos en windows xp, vete donde esté el fichero excel y escribe directamente el nombre del fichero. Quizás cmd.exe sólo sea capaz de abrir los ficheros con la aplicación por defecto a partir de determinadas versiones de windows. Si no te funciona y no te vale lo de Desktop, tendrás que llamar directamente al excel.exe, donde quiera que se encuentre.
Se bueno.