yo opino que $mail->Send() tendria que estar en un if,
Código PHP:
$repeat=1;
if($mail->Send()){
echo 'enviando <img src="puntitos.gif"/>';
}else{
while ($repeat < 3) {
echo 'reenviando <img src="puntitos.gif"/>';
sleep(5);
$ok = $mail->Send();
$repeat++;
}
el tema es que si no se envia se va a frenar para volver a enviar, podrias seperar los mails fallidos y despues volverlos a enviar si el usuario lo desea, o mejor guardar en una base de datos para despues actualizar