Mostrar informacion de db con php

[Jarkaos]

Hola.
En esto de php lo unico que se es como conectar a una bd y nada mas. Partire del principio: Tengo una tabla creada con html en la cual se muestran las letras del abecedario. Tengo una bd con el nombre de ciudades ordenadas alfabeticamente. Lo que quiero hacer es que cuando el usuario haga click en la letra A se muestren en la pagina todas las ciudades que estan en la bd y que comienzan con A. Se que suena simple pero para mi es como hablar chino.
Lo otro que quiero haces es que cada vez que un usuario haga click en una letra no se carge la pagina nuevamente si no que solamente la infromacion que entrega la bd, unas personas aca me dijieron que para eso puedo usar Ajax pero Ajax para mi es como japones. Asi que quiero dar una paso a la vez, primero saber como consultar con php y mostrar los datos y despues intentar afinarlo con ajax.
Gracias de antemano