通过对潜在表示进行高维度测试的自适应不确定性估计

Oct, 2023

通过对潜在表示进行高维度测试的自适应不确定性估计

Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations

Tsai Hor Chan, Kin Wai Lau, Jiajun Shen, Guosheng Yin, Lequan Yu

TL;DR利用数据自适应高维假设检验的新框架对不确定性进行估计，通过对特征表示的统计特性进行测试，以提升对潜在表示中的不确定性的判别能力并实现更准确的不确定性估计，同时引入一种基于家族式测试的过程来确定 ODD 检测的最佳阈值，以最小化假阳性的发现率。

Abstract

uncertainty estimation aims to evaluate the confidence of a trained deep neural network. However, existing uncertainty estimation approaches rely on low-dimensional distributional assumptions and thus suffer from

uncertainty estimation deep neural network data-adaptive high-dimensional hypothesis testing bayesian neural networks ood detection

发现论文，激发创造

基于不确定性的文本可靠分类

本文针对文本分类任务中的 OOD 检测问题，提出了基于证据不确定性的方法，该方法通过引入辅助的离群样本和伪样本来训练模型，并明确建模了类别概率的不确定性。实验证明，该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers，并在 OOD 检测上优于其他方法。

Jul, 2021

深度神经网络中基于潜空间统计推断的不确定性量化

本文提出了一种新的算法，通过利用深度神经网络分类器中数据点的潜在空间表示来评估其预测的准确性，该方法可以检测出分布之外的数据点被不正确地预测，从而有助于自动检测异常值。

May, 2023

揭示拉普拉斯近似用于不确定性估计的经验病理

本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现，传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点，认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。此外，我们证明了这种特性与模型的训练阶段无关，而是与其内在性质相关。通过广泛的实验评估，我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。

Dec, 2023

潜在判别确定性不确定性

该研究提出了一种可扩展的、有效的决策不确定性方法，通过利用区别最大化层，通过任意大小的可训练原型学习鉴别隐藏空间，以解决深度学习在实际中应用时不确定性预测的问题，该方法在图像分类、分割和单眼深度估计任务上超过了深度集合的现有技术。

Jul, 2022

基于自监督高斯正则化的深度分类器用于马氏距离不确定性估计

介绍了一种轻量、快速、高性能的正则化方法用于 Mahalanobis 距离的不确定性预测，并需要对网络的架构进行最小的更改来推导有利于 Mahalanobis 距离计算的高斯潜在表示。通过在标准 OOD 基准测试上进行评估，证明了该方法在最小推理时间内实现了最先进的 OOD 检测结果，并且在预测概率校准方面非常有竞争力。

May, 2023

基于生成模型的不确定性感知深度分类器

本篇研究提出了一种神经网络模型，该模型能够同时表达 aleatoric 和 epistemic 不确定性，区分特征空间的决策边界和 “out-of-distribution” 区域。在训练过程中，通过集成变分自编码器和生成对抗网络的方法生成了 “out-of-distribution” 样本。通过在多个数据集上进行实验，表明该方法提供了更好的不确定性估计，并且在识别对抗样本时表现出优异的表现。

Jun, 2020

近似后验推断对贝叶斯深度学习在对抗和越界设置中的影响

本研究旨在探索深度学习模型的不确定性量化方法，并考虑基于贝叶斯推理的模型在 OoD 检测中的表现，结果显示在某些情况下，这种模型略高于传统的深度神经网络，对于对新输入的敏感性的原因进行研究，并对对抗噪声鲁棒性的影响进行了研究。

Sep, 2020

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

高维回归的置信区间和假设检验

该文提出了一个新颖的算法，用于构建自然参数的置信区间和 p 值，并使用高维线性回归问题和一个高通量基因组数据集进行测试。

Jun, 2013

确定性认知不确定性的实用性

本文提出了一组新的方法，可以通过单次前向传递来估计深度神经网络中的认识不确定性，这些确定性不确定性方法在表示信息的前提下，在检测超出分布数据（OOD）方面表现出强大的性能，同时几乎不增加推理时间的计算成本。然而，DUMs 是否校准良好且是否可以无缝地扩展到实际应用仍不清楚。本文对 DUM 进行分类和评估，发现当前方法的实用性受到分布移位校准的限制。

Jul, 2021