本文提出了一种基于深度神经网络单模型的aleatoric和epistemic不确定性估计方法，分别为Simultaneous Quantile Regression（SQR）和Orthonormal Certificates（OCs），这些方法无需集成或重新训练深层模型就能达到竞争性能。

Nov, 2018

该论文提出了一种深度学习可扩展的确定性和不确定性评估框架，并对两种最先进的可扩展方法进行了比较，即集成和MC-dropout，结果表明集成方法提供更可靠和实用的不确定性估计。

Jun, 2019

提出三种方法以分析密集回归训练网络的输出方差，在推理过程中无需重新训练或调整模型，这些方法得出的不确定性估计结果与需要重新训练以及调整的最先进的方法相当甚至更好。

Sep, 2019

论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如FashionMNIST vs. MNIST和CIFAR-10 vs. SVHN，使用单个模型得出了比Deep Ensembles更好的结果。

Mar, 2020

通过对神经网络的深度进行概率推理，我们能够只需一次前向传播，就能估计模型的不确定性。在真实的回归和图像分类任务中，我们验证了这一方法的效果，并证明它能提供不确定度校准、对数据集变化的鲁棒性和与计算成本更高的基线准确度相当的预测结果。

Jun, 2020

本文提出了一组新的方法，可以通过单次前向传递来估计深度神经网络中的认识不确定性，这些确定性不确定性方法在表示信息的前提下，在检测超出分布数据（OOD）方面表现出强大的性能，同时几乎不增加推理时间的计算成本。然而，DUMs是否校准良好且是否可以无缝地扩展到实际应用仍不清楚。本文对DUM进行分类和评估，发现当前方法的实用性受到分布移位校准的限制。

Jul, 2021

本文介绍了一种能够辅助任何传统神经网络，包括大型预训练模型，能够用较少的计算量来预测不确定性的架构——epinet。使用epinet，传统神经网络在预测标签上的表现优于包含数百个或更多粒子的非常大的许多集合，而且使用的计算资源和数据也大大降低了。

Jul, 2021

生成后验网络（GPN）是一种新方法，利用未标记的数据来估计高维问题中的认识不确定性。它是一种生成模型，通过对网络进行正则化以从先验中采样，直接逼近后验分布。理论上证明我们的方法确实逼近了贝叶斯后验，并且实验证明它在比较方法上改进了认识不确定性估计和可扩展性。

Dec, 2023

通过实验，我们观察到“认知不确定性孔洞”现象，即在大型模型和少量训练数据存在时，认知不确定性会明显降低，这与理论预期相反。该现象对基于认知不确定性的贝叶斯深度学习的实际应用产生问题，特别是在超出分布样本检测方面。

Jul, 2024

基于实验研究，证据深度网络产生的认知不确定性在某些情况下违反预期，这引发了对其准确性的质疑。在此基础上，我们提出了一种深度集成的正规化函数，称为冲突损失，以满足认知不确定性的两个要求，并且不损害深度集成的性能或校准性。

Jul, 2024