lo que tienes que hacer es un paginado en php, para acotar la cantidad de registros por pagina, hay muchos paginadores y preguntas similares por el foro, el de jpinedo no lo he probado la verdad pero se supone que sirve para lo que necesitas, hay otro que esta muy bien documentado pero no recuero el nombre
, lo vi por aqui en el foro....
saludos