FedSI: 面向高效不确定性量化的联邦子网络推断

Apr, 2024

FedSI: 面向高效不确定性量化的联邦子网络推断

FedSI: Federated Subnetwork Inference for Efficient Uncertainty Quantification

Hui Chen, Hengyu Liu, Zhangkai Wu, Xuhui Fan, Longbing Cao

TL;DR这篇论文介绍了一种名为 FedSI 的新型 Bayesian DNNs-based 子网络推断 PFL 框架，通过利用贝叶斯方法有效地纳入系统不确定性，实现了简单可扩展的推断，同时在保留系统不确定性的情况下，在异构 FL 场景中表现出优于现有贝叶斯和非贝叶斯 FL 基线的性能。

Abstract

While deep neural networks (DNNs) based personalized federated learning (PFL) is demanding for addressing data heterogeneity and shows promising performance, existing methods for federated learning (FL) suffer fr

deep neural networks personalized federated learning bayesian dnns systematic uncertainties heterogeneous fl scenarios

发现论文，激发创造

稀疏贝叶斯网络：医学图像分析中高效的不确定性量化

通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计，相比完全贝叶斯化和集合方法，能够显著减少 95% 以上贝叶斯参数，从而大大降低计算开销。

Jun, 2024

SDE-Net：为深度神经网络提供不确定性估计

我们提出了一种基于随机动态系统视角的量化深度神经网络不确定性的新方法，即神经随机微分方程模型 (SDE-Net)，并证明了其存在唯一解的性质，实验证明该模型在不确定性占据重要角色的一系列任务中优于现有的不确定性估计方法。

Aug, 2020

使用深度集成实现简单且可扩展的预测不确定性估计

本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

Dec, 2016

面向 FPGA 的硬件感知神经网络丢弃搜索用于可靠的不确定性预测

提出了一种新的神经随机丢失搜索框架，旨在自动优化既有基于 dropout 的 Bayesian 神经网络及其硬件 FPGA 实现，实验结果表明该框架能够有效地找到 Pareto 最优设计配置。

Jun, 2024

深度概率集成在大规模视觉主动学习中的应用

本论文介绍了一种基于 Deep Probabilistic Ensembles 的可扩展方法，该方法使用一个规则化的集合来近似 deep BNN。我们对大规模的视觉主动学习实验进行了一系列研究并在 CIFAR-10，CIFAR-100 和 ImageNet 数据集，以及 BDD100k 数据集上进行了语义分割的评估。我们的模型需要更少的训练数据才能实现竞争性能，并随着注释预算的增加而稳步提高。

Nov, 2018

通过贝叶斯学习深度神经网络结构来度量不确定性

这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

Nov, 2019

通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

Jun, 2020

使用引导权重的深度学习中的稀疏不确定性表示

本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

May, 2021

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

使用单个深度确定神经网络进行不确定性估计

论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如 FashionMNIST vs. MNIST 和 CIFAR-10 vs. SVHN，使用单个模型得出了比 Deep Ensembles 更好的结果。

Mar, 2020