研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

Jun, 2021

本文提出了一种新的方法以应对激活函数为 ReLU 的神经网络在数据训练远离时会过度自信并有可能失去安全性的问题，该方法可以提供数学上的低置信预测同时提供第一个在一个分布外点附近的低置信预测的证书。实验表明，该方法能够在保留 OOS 性能的同时，保证其性能。

Sep, 2019

神经网络预测在面对越来越多的分布外数据时，往往呈现出不可预测和过度自信的特点。然而，我们的研究发现，与其任意拟合，神经网络预测往往趋向于一个恒定值，并且这个值通常接近于最优恒定解（OCS），即在没有观察到输入时最小化训练数据平均损失的预测。我们在 8 个包含不同分布转移的数据集（包括 CIFAR10-C 和 ImageNet-R,S）、不同损失函数（交叉熵、均方误差和高斯负对数似然）以及不同架构（CNN 和转换器）上展示了这种现象。此外，我们提出了这种行为的解释，首先通过实证研究验证，然后在简化的深度均质网络和 ReLU 激活的环境中进行理论研究。最后，我们展示了如何在面对分布外输入时利用我们的发现在实践中实现风险敏感的决策。

Oct, 2023

本文针对图像分类中的 ODD 问题，分析研究了最近提出的使用置信分类器来检测 ODD 样本的方法，并结论表明该方法仍会对偏离训练数据分布的 OOD 样本产生高置信度，建议新增 “拒绝” 类别来训练分类器。

Apr, 2019

本研究旨在提高神经网络参数化概率形式的精度，以改善预测不确定性和检测分布外输入。通过将 softmax 交叉熵与其他概率形式进行比较，作者发现一对全制配方可以提高图像分类的校准，同时与 softmax 的预测性能相匹配，没有额外的训练或测试时间复杂度。

Jul, 2020

本文旨在通过使用区间界传播 (IBP) 来确保拥有可证明的最坏情况保证 (out-of-distribution detection)，该技术不仅在 OOD 点处实现低置信度，还在一个 l∞球的周围实现低置信度。实验结果表明，相比于认证对抗性鲁棒性，最坏情况 OOD 检测的认证保证是可以在不损失太多精度的情况下实现的。

Jul, 2020

通过提出类似于对抗训练的新型鲁棒性优化技术，使得神经网络分类器可以在训练数据附近做出高置信度的预测，同时在远离训练数据的区域内降低置信度。

Dec, 2018

本研究探讨神经网络在预测远离训练数据分布的数据时，未能增加其不确定性的现象，并找出了两种隐含的偏见，从而鼓励 softmax 置信度与认识不确定性相关，并发现预训练 / 微调网络可以减少训练数据和超出分布数据之间的重叠。

Jun, 2021

本文中，我们通过研究生成 “有效” 的 OOD 样本的复杂性，分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络（例如变分自编码器）生成这些样本的新算法，然后训练一个 $n+1$ 分类器来检测 OOD，其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较，实验表明我们的方法总体上表现更好。

Oct, 2019

通过测量神经网络次最后一层的极端激活值并利用这一特征改进各种 OOD 检测基线，我们解决了模型 “过度自信” 现象造成的 OOD 检测问题，在各类实验中得到了显著提升，不损害任何场景的性能。

May, 2024