No!
REPLACE(cadena, cadena_buscar, cadena_cambiar) es una funcion, que reemplaza en "cadena", cadena_buscar por cadena_cambiar.
Si lo que quieres cambiar no existe en "cadena", devuelve "cadena" sin cambiar nada.
Si le pasas una cadena vacia, como hacias al principio, le estas diciendo cambiarme en una cadena vacia un caracter por otro => returna ''
Si quieres cambiar solo en los artistas en los que coincida utiliza la clausula WHERE.
Código:
update musica
set artista = replace (....)
where artista like '%coincicida%'
Salu2