Prueba con esto
Sacaría las media de notas del alumno 1 si quires la de todos para la materia dos sería la segunda consulta.
Código:
select avg(nota) from notas where idalumno=1 and idmateria=2 group by idalumno
select avg(nota) from notas where and idmateria=2 group by idalumno