Si no me equivoco el problema radica en que no puedes "juntar" dos funciones de agregado (sum y avg en este caso)...
Quizás así te funcionaría, si he entendido bien el enunciado:
Código:
SELECT num_departamento, avg(num_hijos) As Media
FROM Empleados
GROUP BY num_departamento
HAVING avg(num_hijos) > 2;
Porque la suma no la necesitarías, el propio avg la realiza.
Espero estar en lo cierto y haber acertado ya que no llevo un día muy allá :D
Un saludo.