Aqui te dejo un tutorial, como veras, es necesario saber el total de registros, para construir ese
<< anterior 1 | 2 | 3 | 4 siguiente >> enviando en la variable $inicio el primer registro donde tomaremos datos.
http://www.desarrolloweb.com/articulos/1035.php