Prueba a iniciar el panel desde la sesión gráfica. Teclea ALT + F2 para ejecutar el comando xfce4-panel.
También podrías revisar
$ dmesg | tail para ver si avisó de algun error al iniciar la sesión gráfica.
Aunque para ser sincero, yo preferiría instalar una distro más confiable y liviana que Xubuntu.
Zenwalk me parece excelente opción.