Capturar N registros anteriores a partir de un ID

[Ktulu]

Hola, realmente no se si me estoy complicando por demás o qué, pero me encuentro trabado en una situación que no logro descifrar. Aclaro que no soy novato en el tema por lo que creo que es un problema de planteo.
Estoy implementando un scroll infinito en PHP el cual al llegar al final, mediante AJAX, se capturan los N siguientes registros para ser agregados a una tabla.

Supongamos que muestro de a 5 registros, los mismos ordenados por ID ascendente cuyos valores pueden no ser consecutivos. Ejemplo: 1,2,5,8,12.
Al llegar al final del scroll del sitio, mediante javascript capturo el ID del ultimo registro mostrado y lo utilizo como OFFSET en la consulta, lo cual me traerá los 5 siguientes registros a partir del nº 12.

Hasta ahí todo funciona perfecto, no es mas que una sucesión de consultas con limit y offset a partir de un ID, pero el problema aparece cuando deseo ordenar dichos registros por ID descendente.

Supongamos que ahora muestro los registros a la inversa. Ejemplo: 54,52,49,48,45
Cómo podría hacer para que a partir del último ID (en este caso 45) capturar los 5 registros anteriores ??? Ejemplo: 42,41,40,36,35

Agradecería cualquier tipo de información o recomendación que me puedan brindar