Código:
document.removeEventListener('mousemove',mostrar,false);
aunque la sintaxis está bien, lo que tienes mal es que en dicho elemento u objeto no esta registrado tal evento. es decir, para remover un evento tienes que indicar el mismo elemento donde se registró. en tu caso, el elemento con id "button".