Suponiendo que tu tabla se llame "usuarios" y el campo donde está el correo se llame "mail":
Código PHP:
// Por aca tu código de conexión
$sql = "SELECT mail FROM usuarios";
$mails = mysql_query($sql, $link);
require("class.phpmailer.php"); // Esto cambia según donde pusiste la clase
$mail = new PHPMailer();
$mail->IsSMTP();
$mail->Host = ""; //Aca si necesitas un servidor SMTP, sino déjalo vacío
$mail->From = "[email protected]";
$mail->FromName = "Tu nombre";
$mail->Subject = "Asunto";
$mail->Body = "Cuerpo del mail, que puede tener código HTML";
$mail->SMTPAuth = true; // o false depende del servidor SMTP que uses
$mail->Username = ""; // Usuario que lo llenas o no según el servidor SMTP
$mail->Password = ""; // Pasword que lo llenas o no según el servidor SMTP
$mail->IsHTML(true); // Formato HTML
while($mail = mysql_fetch_array($mails)){
$mail->AddAddress($mail[0]);
$mail->Send();
$mail->ClearAddresses();
}