Claro no hay problema;
Código PHP:
$_SESSION['curso'] = 'primero A';
$_SESSION['alumnos'][] = 'Lucas';
$_SESSION['alumnos'][] = 'Emanuel';
$_SESSION['alumnos'][] = 'Matias';
//tambien lo puedes hacer de esta manera
//$_SESSION['alumnos'] = array('lucas', 'Emanuel', 'Matias');
var_dump($_SESSION['alumnos']);