利用证据理论的深度学习进行分类不确定性量化

Jun, 2018

利用证据理论的深度学习进行分类不确定性量化

Evidential Deep Learning to Quantify Classification Uncertainty

Murat Sensoy, Lance Kaplan, Melih Kandemir

TL;DR通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Abstract

Deterministic neural nets have been shown to learn effective predictors on a wide range of machine learning problems. However, as the standard approach is to train the network to minimize a prediction loss, the resultant model remains ignorant to its prediction confidence. Orthogonally

neural networks machine learning prediction uncertainty dirichlet distribution adversarial perturbations

发现论文，激发创造

基于一种狄利克雷分布混合的改进证据深度学习

该论文通过混合狄利克雷分布的变分推断来建模一致的目标分布，并通过学习得到的元分布模型提取目标模型中的学到的不确定性。实验证明我们提出的方法在各种基于不确定性的后续任务中具有优越性，并展示了学到的认知不确定性的一致性和不一致性带来的实际影响。

Feb, 2024

深度证据回归

本文提出了一种新方法，通过在原始高斯似然函数上放置证据先验，训练神经网络 (NNs) 以估计连续目标及其相关证据，以学习 aleatoric 和 epistemic 不确定性。在多个基准测试中，本方法展示了学习良好校准的不确定度测量，可扩展到复杂的计算机视觉任务，并对对抗性和 OOD 测试样本具有鲁棒性。

Oct, 2019

基于不确定性的文本可靠分类

本文针对文本分类任务中的 OOD 检测问题，提出了基于证据不确定性的方法，该方法通过引入辅助的离群样本和伪样本来训练模型，并明确建模了类别概率的不确定性。实验证明，该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers，并在 OOD 检测上优于其他方法。

Jul, 2021

用于基于风险决策的深度学习分类中的离散输入噪声量化不确定性

深度神经网络在风险决策中的应用受到广泛关注，已在医学、金融、制造和质量控制等领域取得广泛应用。本文提出了一种数学框架，用于量化深度神经网络模型的预测不确定性，特别针对含有离散特征变量的表格数据集。通过对结核病患者在治疗过程中的预测进行案例研究，结果表明在一定风险水平下，我们能够识别出风险敏感的情况，这些情况容易因为预测器中的误差而被错误分类。与蒙特卡洛丢弃法相比，我们提出的框架更加关注误分类的情况。我们的提出的深度学习不确定性量化框架可在存在离散预测误差的应用中支持基于风险的决策。

Oct, 2023

深度神经分类器的偏差减少不确定性估计

本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

May, 2018

证据不确定性量化：一个基于方差的视角

基于方差的方法扩展到分类问题中，量化分类的不确定性，实验结果显示这种方法在主动领域适应中与基于熵的方法的准确性相似，并提供了关于类别间不确定性和相关性的信息。

Nov, 2023

使用单个深度确定神经网络进行不确定性估计

论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如 FashionMNIST vs. MNIST 和 CIFAR-10 vs. SVHN，使用单个模型得出了比 Deep Ensembles 更好的结果。

Mar, 2020

基于生成模型的不确定性感知深度分类器

本篇研究提出了一种神经网络模型，该模型能够同时表达 aleatoric 和 epistemic 不确定性，区分特征空间的决策边界和 “out-of-distribution” 区域。在训练过程中，通过集成变分自编码器和生成对抗网络的方法生成了 “out-of-distribution” 样本。通过在多个数据集上进行实验，表明该方法提供了更好的不确定性估计，并且在识别对抗样本时表现出优异的表现。

Jun, 2020

使用深度集成实现简单且可扩展的预测不确定性估计

本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

Dec, 2016

深度学习的不确定性量化

提供了深度学习的完整且具有统计一致性的不确定性量化，包括源自（1）新的输入数据，（2）训练和测试数据，（3）神经网络的权重向量和（4）神经网络本身的不确定性。

May, 2024