si, claro que te puede servir.
para los 25 primeros resultados
Código:
select id, nombre
from mi_tabla
order by id
limit 0, 25
para los 25 siguientes
Código:
select id, nombre
from mi_tabla
order by id
limit 25, 50
etc... etc... el primer parametro del limit indica la posicion desde la que empieza a mostrar los registros y el segundo parametro el numero de registros que debe traer.