Si he entendido bien, quieres algo como lo que puede proporcionarte esta consulta.
Código sql:
Ver originalSELECT CAST( group_concat( t1.nombre
SEPARATOR ' | ' ) AS CHAR ) grado, CAST( group_concat( t1.tot
SEPARATOR ' | ' ) AS CHAR ) cantidades
FROM (
SELECT alumnos.id_grado grado, grados.nombre nombre, IFNULL(COUNT( alumnos.id ),'0') tot
FROM alumnos
RIGHT JOIN grados ON grados.id = alumnos.id_grado
GROUP BY id_grado ORDER BY grados.id
)t1
He usado el cast as char, porque las pruebas las estoy haciendo en PHPMyAdmin, pero probablemente no es necesario ese casting y funcionará sin él, al menos en consola.