http://es.wikipedia.org/wiki/Desfragmentaci%C3%B3n
Revisa la explicación referente a la fragmentación, es probable que sea lo que te sucede.
Salir del juego al escritorio y volverlo a correr no corrige la framentación, al contrario, la incentiva. La única solución al respecto es reiniciar el equipo para que se asignen los bloques de memoria.
Por otro lado, si el WOW tiene "memory leaks" entnoces eventualmente tendrás un efecto similar. Aunque eso no está en tus manos corregirlo sino en parches del propio juego.