Si podes instalar mysql en unix y funciona con apache php y phpbb. En cuanto al costo no estoy segura pero me parece que en la version unix de mysql es free, pero te recomiendo que no te guies por lo que digo, consulta la pagina de MySql
<a href='ir.asp?http://www.mysql.com' target='_blank'>http://www.mysql.com...</a>
Ahi te sacas las dudas del costo.
Besos Romina