Hola,
En PHP, el array multidimensional es un array normal, en el que cada elemento es un array. Asi que para crear un nuevo elemento en el array, podrias hacer:
Código PHP:
$puntos[$usuarios["usuario"]]=array_fill(0,20,0);
Es decir, $puntos[$usuarios["usuario"]] es un array. En todo codigo donde puedas poner un array, puedes poner $puntos['pepe']: en el foreach, en las funciones de array, ...
Saludos.