Imagino que es bastante simple de lograr eso. Te puedes hacer una botonera con todas las letras del alfabeto. Entonces a cada link le anexarias una variable con su respectiva letra. Por ejemplo el link de la letra a te quedaría de esta forma:
<a href="tu_pagina.asp?letra=A">
Entonces, todo lo demás lo haces con la base de datos. Recoges el valor que le pasas por la URL y haces una sentencia SQL que seleccione solo los registros que comiencen con la letra respectiva. En el caso de seleccionar la letra "A", la sentencia SQL quedaría de esta forma:
"SELECT * FROM tu_tabla WHERE Nombre LIKE 'A%'"
Y en un caso general sería:
"SELECT * FROM tu_tabla WHERE Nombre Like '" & Request.QueryString("letra") & "%'"
Claro asumiendo que el campo por el que deseas filtrar los registros es un campo llamado "Nombre".
Espero que te funcione y soluciones lo que estás haciendo.
Un saludo.