Te recomiendo el tutorial de como crear un foro de
www.zonaphp.com
Ahí veras como trabajar una BD para almacenar todas esas preguntas y sus respuetas .. En principio eso es un foro "abierto" ahí ya veras tu que criterios seguiras para ver quien responde y quien pregunta .. para eso te hará falta algún tipo de gestión de usuarios donde se autentifiquen los "posteadores" de mensajes y los que responden (con diferenciación por algún tipo de nivel de acceso o gerarquía que establezcas).
El tema de enviar un e-mail si pregunta o se le responde es lo de menos (si consigues lo anterior xDD).
También puedes pasarte por sitios como
www.hotscripts.com .. ahí seguro que encuentras alguna aplicación similar (sobre todo en la seccion de "help desk", "FAQ" o similares ..
Un saludo,