Porque las X no tienen permisos para que otros usarios se conexten. 
Proba corriendo como el usuario normal, lo siguiente:  
Funciona porque yo en Kubuntu tengo el mismo problema.  
PD: La solucion estaba en el primer resultado de: 
http://www.google.com.ar/search?hl=e...n+Google&meta= 
Aun no me fijé como hacer que esos permisos se mantengan al iniciar sesion nuevamente con el usuario. 
Tarea para el hogar.