Creo podrías limpiar más tu code, pero con lo que tienes te hace falta agregarle un "break" al for para que una vez que encontró, ya no siga ciclando:
Código PHP:
for($f=0;$f<=$count;$f++){
if($sep_f[$f]==$row['numero']){
$agregar="Borrar";
break;
}else{
$agregar="Agregar";
}
Saludos.