Es posible gracias a
http://codex.wordpress.org/Function_...ry_description
En tu archivo category.php, o archive.php, tenés que ubicar la sección en donde dice:
<?php single_cat_title(); ?>
y debajo colocar:
<?php echo category_description(); ?>
Luego llenás la descripción de cada categoría desde el escritorio de tu WordPress y listo!