Pues a simple vista tiene difícil solución
Podrías usar un setTimeout pero no sería una solución eficaz, porque no sabes cuánto va a durar el scroll. Deberás esperar a que alguien con una idea feliz te ilumine, porque por lo menos a mí no se me ocurre nada
Saludos :D