Hola,
Pues si, con un array asociativo bidimensional lo puedes tener. Seria algo como:
Código PHP:
$totalRows_rub = mysql_num_rows($rub);
$rubros=array(); // inicializamos
do {
$rubro=$row_rub['rubro'];
$categoria=$row_rub['categoria'];
$rubros[$rubro][]=$categoria;
} while ($row_rub = mysql_fetch_assoc($rub));
// $rubros contiene los rubros, y para cada rubro un array con categorias
// ejemplo para mostrarlo
foreach ($rubros as $nombre => $categorias) {
echo $nombre.' : '.implode(', ',$categorias).'<br>';
}
Saludos.