Buenas,
Que es lo que no te parece eficiente?, utilizar ajax o guardar en base de datos? o ambas cosas?
En lugar de hacer polling por ajax lo optimo seria utilizar websockets, pero para usarlos tanto el servidor como el cliente debe soportarlos.
Respecto a guardar en base de datos, yo lo considero interesante pero no obligatorio, ya que lo importante en el caso de un chat es el mecanismo de broadcast de mensajes. En cualquier caso si se guarda informacion en base de datos, esto deberia hacerse de forma asincrona, para no tener impacto en la distribucion de mensajes.
Aunque no sea tu lenguaje, te dejo un ejemplo en node.js de una implementacion simple desde 0 que puede darte buenas ideas y conceptos para empezar:
http://socket.io/get-started/chat/
Un saludo