Memoria al 99% y casi se reduce al cerra todo.

[residentidle]

Lo que sucede es que los 512 adicionales No es SWAP, es memoria del servidor que puedo usar adicionalmente. y de Swap tengo tambien 1gb segun lo que me indica la consola.
Tengo otro VPS con 512mb de ram y 512 de swap y el panel y consola indican eso.

El panel solo me indica 1gb de ram, nada de la swap, La consola me detecta 1gb de ram y 1gb de swap como indique, de igual forma me lo indica webmin/virtualmin, siempre puedo usar 1gb de ram.
En el VPS 1 y 2 tengo las mismas caracteristcas, junto con webmin, solo que en el VPS 1 tengo el problema con la memoria, en el VPS2 no tengo ningun problema, la memoria nunca llega ni al 80% y cuando cierro todo no llego ni al 40% de consumo (siempre wembmin con apache y myql funcionando).

No uso escritorio remoto y programas todo el tiempo, solo para restaurar archivos grandes comprimidos. pero en el VPS 1 se pone al 99% de ram al instalar kloxo,webmin, gnome, yum update, con developer update, usar esos programas y gftp y fielzilla; lo cual no pasa con los otros VPS, y al cerrar todo no baja el consumo como deberia de ser (se queda en 75 a 80%).

Pero eso sí, el VPS sigue igual de rapido, la consola y el panel del VPS indica el gran consumo, en el webmin/virtualmin la memoria indica como deberia estar. como los otros VPS, sin problemas.