Algo así puede servirte para empezar...
Código PHP:
<?
//Te conectas a la BD
for ($i="a";$i!="aa";$i++){
$qry="select count(*) as cuantos from tutabla where termino like '$i%'";
$qr=mysql_query($qry);
$rs=mysql_fetch_array($qr);
if ($rs["cuantos"]>0) {
echo "<a href='pagina.php?letra=$i'>$i</a>";
} else {
echo $i;
}
}
?>
(apuesto que no todos sabian que se podía hacer eso con FOR... je je)