使用深度集成实现简单且可扩展的预测不确定性估计

NIPSDec, 2016

使用深度集成实现简单且可扩展的预测不确定性估计

Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

Balaji Lakshminarayanan, Alexander Pritzel, Charles Blundell

TL;DR本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

Abstract

deep neural networks (NNs) are powerful black box predictors that have recently achieved impressive performance on a wide spectrum of tasks. Quantifying predictive uncertainty in NNs is a challenging and yet unso

deep neural networks predictive uncertainty bayesian nns training procedure dataset shift

发现论文，激发创造

深度学习不确定性估计的通用框架

提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

Jul, 2019

通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

Jun, 2020

评估可扩展的贝叶斯深度学习方法在稳健计算机视觉中的应用

该论文提出了一种深度学习可扩展的确定性和不确定性评估框架，并对两种最先进的可扩展方法进行了比较，即集成和 MC-dropout，结果表明集成方法提供更可靠和实用的不确定性估计。

Jun, 2019

神经网络的不确定性：近似贝叶斯集成

该论文介绍了一种基于贝叶斯原理的神经网络反演方法，利用对先验分布采样的数据正则化参数，从而提高神经网络模型的预测不确定性识别和量化能力。经过理论和实证分析，该方法相对于传统的平均集成技术具有更好的性能表现。

Oct, 2018

使用引导权重的深度学习中的稀疏不确定性表示

本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

May, 2021

深度学习中可扩展高效的不确定性估计和降低方法

部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战，该研究论文总结了一项 (四年级) 博士论文工作，该工作探索了深度学习中可扩展和高效的方法，包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案，包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率，从而增加了神经网络实现的可靠性和鲁棒性。

Jan, 2024

深度证据回归

本文提出了一种新方法，通过在原始高斯似然函数上放置证据先验，训练神经网络 (NNs) 以估计连续目标及其相关证据，以学习 aleatoric 和 epistemic 不确定性。在多个基准测试中，本方法展示了学习良好校准的不确定度测量，可扩展到复杂的计算机视觉任务，并对对抗性和 OOD 测试样本具有鲁棒性。

Oct, 2019

深度神经分类器的偏差减少不确定性估计

本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

May, 2018

深度神经网络中的不确定性调查

本文对神经网络不确定性估计进行了全面的概述和介绍，包括模型不确定性和数据不确定性，并介绍了通过确定性神经网络、贝叶斯神经网络、神经网络集合和测试时间数据增强方法来建模这些不确定性的方法。此外，还讨论了不确定性方面的实际应用中存在的挑战和限制，以及未来工作的展望。

Jul, 2021

端到端控制的空间不确定性采样

本文提出了一种利用特征映射相关性估计不确定性的贝叶斯神经网络用于端到端控制，该方法在传统元素级 dropout 方法上实现了更好的模型拟合和更紧密的不确定性估计。

May, 2018