Uupss!!! sí, perdón, creo que ese día estaba medio despistado 
 
 
Me faltó poner el contenido de la redirección, que en éste caso sería  
Código:
 <script type="text/javascript">location.href('tu_script.php?pagina=<?php echo $_GET[pagina]+1; ?>');</script>
  Y al final, todo el código, quedaría así:  
 Código PHP:
    <?php
//Conexion a la base de datos
include("config.php");
require("class.phpmailer.php");
$mail = new PHPMailer();
$mail->Host = "smtp.1and1.com";
$mail->From = "[email protected]";
$mail->FromName = "List Manager";
$mail->Subject = "Nuevo Servicio";
$registros = 10;  // enviará 10 emails por cada recarga. Modifícalo a tu gusto :P
$_GET[pagina] = $_GET[pagina];
if (!$_GET[pagina]) {
   $inicio = 0;
   $pagina = 1;
}
else {
   $inicio = ($_GET[pagina] - 1) * $registros;
}
$result_ = mysql_query("SELECT nombres, email FROM clientes"); 
$total_registros = mysql_num_rows($result_);
$total_paginas = ceil($total_registros / $registros);
$result = mysql_query("SELECT nombres, email FROM clientes LIMIT $inicio, $registros"); 
while ($row = mysql_fetch_array($result)) {
    // HTML body 
    $body = "Hola <strong>".$row["nombres"]."</strong>, "; 
    $body.= "<p>Les comunicamos el nuevo servicio... <p>"; 
    $body.= "<em>List manager</em>"; 
    // Text body
    $text = "Hola ".$row["nombres"].", \n\n"; 
    $text.= "Les comunicamos el nuevo servicio...\n\n"; 
    $text.= "List manager";
    // Configurar Email
    $mail->Body = $body; 
    $mail->AltBody = $text; 
    $mail->AddAddress($row["email"], $row["nombres"]);
    // Enviar el email
    if(!$mail->Send()) {
        echo "Error al enviar a: " . $row["email"] . "<br>"; 
     }
    $mail->ClearAddresses();  
}
?>
<?php
if($total_paginas >= $_GET[pagina]) {
?>
<script type="text/javascript">location.href('tu_script.php?pagina=<?php echo $_GET[pagina]+1; ?>');</script> 
<?php
}
else
{
echo "<h1>Boletín enviado!</h1>";
}
?>       Lo que hace el script es verificar si el número total de páginas, es mayor a la página actual ($_GET[pagina])... si lo es, es porque existen más emails para enviar el boletín... entonces le suma 1, y lo ejecuta. 
Disculpas de nuevo jeje! 
Saludos!