Lo que yo te digo es que no esté la autoreproducción.
En vez de:
<audio id="xxx" controls autoplay>
Dejarlo:
<audio id="xxx" controls>
Una vez tenerlo asi, el usuario deverá darle a play para reproducir, si no no reproducirá.
Entonces ahora toca ocultarlo con css para dispositivos:
Código CSS:
Ver original@media (max-width: 768px) {
#xxx {
display:none;
}
}
Saludos.