Utilizá condicionales en el template en donde está tu blogroll (seguramente sidebar.php).
http://codex.wordpress.org/Conditional_Tags
Código PHP:
Ver original<?php if (is_category(3)) {
// Código de llamada al blogroll
} else {
// Alguna otra cosa que desees mostrar o bien dejar en blanco
} ?>
?>