Yo sería más práctico.
Si el servidor comienza a usar SWAP, así sea 0.01%, quiere decir que necesita más RAM, pues de hecho comenzó a usar SWAP debido a la falta de RAM.
Ahora el asunto está en qué tan urgente/necesario puede ser aumentar RAM... y bueno, eso lo dice el rendimiento general de tu servidor.
Saludos,