si lo único que quieres es un sistema de validación de usuarios (no todo el foro), prueba este link:
Sistema de autenticación
tienes todo explicado de manera detallada.
En cuanto a enviar mails, en el mismo sitio tienen un taller que te cuenta como hacerlo:
Envío de email con PHP
Espero que te sirva.