本研究探讨了在计算机视觉任务中, 使用贝叶斯深度学习模型对本质和表观不确定性进行建模的影响， 并提出了一种新的深度学习框架，将输入相关的本质不确定性与表观不确定性相结合。 我们还提出了一种新的损失函数，可解释为学习的衰减，将其应用于像素级语义分割和深度回归任务中，使得模型更加鲁棒并取得新的最先进的结果。

Mar, 2017

本文提出了一种基于深度神经网络单模型的aleatoric和epistemic不确定性估计方法，分别为Simultaneous Quantile Regression（SQR）和Orthonormal Certificates（OCs），这些方法无需集成或重新训练深层模型就能达到竞争性能。

Nov, 2018

提供了一种比使用蒙特卡洛采样估计神经网络的认识不确定性的方法更加高效的近似方法，该方法适用于大规模视觉任务。

Aug, 2019

本文提出了一组新的方法，可以通过单次前向传递来估计深度神经网络中的认识不确定性，这些确定性不确定性方法在表示信息的前提下，在检测超出分布数据（OOD）方面表现出强大的性能，同时几乎不增加推理时间的计算成本。然而，DUMs是否校准良好且是否可以无缝地扩展到实际应用仍不清楚。本文对DUM进行分类和评估，发现当前方法的实用性受到分布移位校准的限制。

Jul, 2021

研究神经网络的不确定性问题，提出了一种新的不确定性量化方法，能够区分aleatoric和epistemic uncertainties，实验证明Ensembles可以提供整体性最好的解决方案，同时推荐采样softmax函数的超参数N大于100。

Apr, 2022

利用对抗模型量化不确定性提高估计认知不确定性的准确性，相较于现有方法，Quantification of Uncertainty with Adversarial Models能够更好地捕捉深度学习模型中的认知不确定性。

Jul, 2023

可信的机器学习系统不仅应返回准确的预测结果，还应提供可靠的不确定性表示。贝叶斯方法通常用于量化生成论和认知性不确定性，但近年来，备选方法，如证据深度学习方法，已变得流行。这篇论文提出了证据深度学习的新理论洞见，强调了优化二阶损失函数和解释由此得出的认知性不确定度度量的困难。通过一个系统的实验设置，涵盖了分类，回归和计数的多种方法，对二阶损失最小化中的确认性和收敛性问题，以及认知不确定性度量的相对（而不是绝对）性质提供了新的见解。

Feb, 2024

我们的研究旨在为任何预训练模型量化认识上的不确定性，不需要原始训练数据或模型修改，可以确保广泛适用于任何网络架构或训练技术；我们提出了一种基于梯度的方法来评估认识上的不确定性，通过分析输出相对于模型参数的梯度，从而指示必要的模型调整以准确地表示输入。

Apr, 2024

通过实验，我们观察到“认知不确定性孔洞”现象，即在大型模型和少量训练数据存在时，认知不确定性会明显降低，这与理论预期相反。该现象对基于认知不确定性的贝叶斯深度学习的实际应用产生问题，特别是在超出分布样本检测方面。

Jul, 2024

本研究探讨了在深度学习模型中，随着模型复杂性增加，认识不确定性崩溃的现象，这与更大的模型提供更好的不确定性量化的假设相悖。我们提出大模型内部的隐性集合现象是导致这种崩溃的原因，并通过实验证明了这一现象在多种架构中的存在，最终为不确定性估计提供了理论依据和新的视角。

Sep, 2024