No tiene por qué aumentar el tamaño, todo depende del bitrate que le pongas, si le pones la mitad de bitrate pues ocupará la mitad de tamaño
Ahora bien, cuidado... por que también tienes que comprimir el audio. Si no lo haces, lo tendrás guardado en WAV, y seguro que por ello ocupa tanto. Comprimelo a MP3 y se lo vuelves a insertar.