problema con paginación por fecha

[redforman]

Hola a todos!
espero me puedan ayudar, tengo una sentencia donde se selecciona las publicaciones que ha hecho el usuario, además de las publicaciones que a dado "compartir " de publicaciones de otros usuarios. Todo esto esta como en un tipo muro. Y esta ordenado por fecha de publicación(en caso que sea una publicación del usuario) y fecha de compartición(en caso que sea una publicación de otro usuario). Son dos tablas(publicaciones, compartidos)
Asi esta mi sentencia:

Código MySQL:

SELECT p.id_publicacion as idpublicacion
        , p.publicacion 
        , p. usuario as usuariopublicacion
        , p.fecha  as fechapublicacion
    , c.id_compartido
        , c.id_publicacion
        , c.usuario
        , c.fecha
FROM publicaciones p
LEFT JOIN 
        (SELECT *
        FROM compartidos
        WHERE usuario = '$usuario') s
    ON p.id_publicacion= c.id_publicacion
WHERE p.usuario = '$usuario' 
  or  c.usuario is not null        //en este espacio se pudiera validar la fecha
ORDER BY ifnull(c.fecha, p.fecha) DESC limit 10
 

funciona muy bien, pero el problema es la paginación que le hago. Yo tengo una paginación que compara el id_publicacion
id_publicacion < $idpublicacion
De que por ejemplo arroja 10 publicaciones y guarda el id de la ultima publicación que se arrastro, y de alli cuando le das a "ver mas" se lleva esa variable (id_publicacion, la ultima) y después hace una sentencia donde seleccionas ahora las publicaciones menores de $idpublicacion.
Pero este tipo de paginación es para id que vayan en orden, (ej. 7,12, 16, 34) y no en desorden como es en mi caso (ej. 20, 12, 27, 18) es asi porque se comparan dos tablas. Entonces no me sirve esa paginación, lo que quiero hacer es hacerlo por fecha, pero nose como ponerlo, me refiero a que son 2 tipos de fecha, y nose como poner la sintaxis en la sentencia. Y además como capturar esa fecha para despues mandar ese valor en "ver mas" porque como les menciono son 2 fechas las que se comparan en la sentencia(la fecha que se compartio, y la fecha de publicación).

Es pero me haya podido explicar bien, cualquier respuesta en verdad que se los agradecería.