确定性认知不确定性的实用性

Jul, 2021

On the Practicality of Deterministic Epistemic Uncertainty

Janis Postels, Mattia Segu, Tao Sun, Luca Sieber, Luc Van Gool...

TL;DR本文提出了一组新的方法，可以通过单次前向传递来估计深度神经网络中的认识不确定性，这些确定性不确定性方法在表示信息的前提下，在检测超出分布数据（OOD）方面表现出强大的性能，同时几乎不增加推理时间的计算成本。然而，DUMs 是否校准良好且是否可以无缝地扩展到实际应用仍不清楚。本文对 DUM 进行分类和评估，发现当前方法的实用性受到分布移位校准的限制。

Abstract

A set of novel approaches for estimating epistemic uncertainty in deep neural networks with a single forward pass has recently emerged as a valid alternative to Bayesian neural networks. On the premise of informa

epistemic uncertainty neural networks deterministic uncertainty methods out-of-distribution detection calibration

发现论文，激发创造

潜在判别确定性不确定性

该研究提出了一种可扩展的、有效的决策不确定性方法，通过利用区别最大化层，通过任意大小的可训练原型学习鉴别隐藏空间，以解决深度学习在实际中应用时不确定性预测的问题，该方法在图像分类、分割和单眼深度估计任务上超过了深度集合的现有技术。

Jul, 2022

利用确定性不确定性网络和不确定性感知训练改进心脏应用的深度学习模型校准

通过评估两种方法对深度学习分类模型的影响，即确定性不确定性方法和不确定性感知培训，我们发现这两种方法都可以在心脏成像领域的两个实际临床应用中提高准确性和校准度，其中确定性不确定性方法一般提供最佳改进效果，同时它们的组合也进一步改进了部分确定性不确定性方法和不确定性感知培训方法的组合。

May, 2024

使用单个深度确定神经网络进行不确定性估计

论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如 FashionMNIST vs. MNIST 和 CIFAR-10 vs. SVHN，使用单个模型得出了比 Deep Ensembles 更好的结果。

Mar, 2020

深度神经网络多维度不确定性量化

本文旨在研究如何衡量深度神经网络中不同的不确定性因素，进一步探究利用这些因素更有效地解决不同决策问题的方法。其中，作者提出了一个一般学习框架来定量不同根本原因导致的多种不确定性，并发现在对于深度神经网络的分类及早期时间点的事件检测中，对于实现最佳效果的不确定性因素分别为矛盾和真空。此外，本文还提出了一个改进 SSL 算法的框架，以抵御 OOD 对象的重要影响。

Apr, 2023

基于不确定性的文本可靠分类

本文针对文本分类任务中的 OOD 检测问题，提出了基于证据不确定性的方法，该方法通过引入辅助的离群样本和伪样本来训练模型，并明确建模了类别概率的不确定性。实验证明，该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers，并在 OOD 检测上优于其他方法。

Jul, 2021

语义分割的深度确定性不确定性

本文提出将 Deep Deterministic Uncertainty 扩展至语义分割领域，其能够量化和分离模型的认识不确定性和随机不确定性，同时提出将 DDU 独立于像素位置进行应用，以此减少内存消耗，最后在 Pascal VOC 2012 数据集上使用 DeepLab-v3+ 神经网络结构能够有效提升模型性能与运算速度。

Oct, 2021

深度确定性不确定性：一个简单的基线

本研究提出了一种概念简单的基线模型，即通过残差连接和谱归一化构建特征空间后，利用高斯判别分析对 softmax 神经网络的预测原型进行后处理，从而达到准确预测深度神经网络中的不确定性的目的，这种 Deep Deterministic Uncertainty（DDU），可以替代当前复杂且耗时的不确定性量化方法，且比当前最先进的方法的计算成本更低。

Feb, 2021

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

评估可扩展的贝叶斯深度学习方法在稳健计算机视觉中的应用

该论文提出了一种深度学习可扩展的确定性和不确定性评估框架，并对两种最先进的可扩展方法进行了比较，即集成和 MC-dropout，结果表明集成方法提供更可靠和实用的不确定性估计。

Jun, 2019

DUDES：利用集合的深度不确定性蒸馏进行语义分割

本研究介绍了一种新方法 Deep Uncertainty Distillation using Ensembles for Segmentation (DUDES)，它能够高效地进行深度神经网络的预测不确定性估计，而不会牺牲性能，以解决自动驾驶、医学图像和机器视觉应用中模型可靠性不足的问题。

Mar, 2023