优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法，通过可微的 loss 函数来实现模型的不确定性校准，结果显示比现有的方法在大规模图像分类任务中表现的更好

Dec, 2020

本文探讨了深度神经网络中不确定性校准问题，并提出了一种针对域偏移的后处理校准方法，其通过对验证集的样本进行扰动，可大幅提高模型的校准性能。

Dec, 2020

本文研究了神经网络模型的预测不确定性及其校准问题，并发现不使用卷积层的最新模型的校准性能最好，模型大小和预训练量并不能完全解释这些差异，表明模型架构是影响校准性能的主要因素。

Jun, 2021

本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量“几乎确定”置信度，导致常常过于自信。同时，文章提出可采用Mixup数据增强技术中的修改损失函数的方法来解决此类问题。

Jun, 2023

研究表明，机器学习模型的置信度校准常常忽略距离偏差问题，即在低接近度数据（即分布稀疏的区域）上比在高接近度样本上更容易过度自信，进而导致不一致的误校准。基于此，该研究提出了一种名为ProCal的插件式算法，具有调整样本置信度的理论保障。结果表明，ProCal在各种模型结构下在平衡、长尾和分布偏移情况下都能有效缓解距离偏差问题并改善校准。

Jun, 2023

深度神经模型校准在构建可靠的安全关键应用的人工智能系统中起着重要作用。本文回顾了最新的校准方法，并对它们进行了原理解析。

Aug, 2023

深度神经网络的适当置信度校准对于安全关键任务中的可靠预测至关重要。近期的研究强调了校准技术引入的置信度过高问题，并成功在各种任务上展示了其成果。然而，置信度过低问题尚未得到足够重视。本文首先引入了一种新的指标，即校准错误评分，用于识别整体和类别上的校准状态，包括置信度过高或过低。我们的指标揭示了现有校准技术存在的缺陷，它们往往过度校准模型，并加剧了置信度过低的预测问题。接着，我们利用类别上的校准错误评分作为代理设计了一种既能应对置信度过高又能应对置信度过低的校准技术。我们进行了大量实验证明我们提出的方法明显优于现有的校准技术。我们还通过风险覆盖曲线在自动故障检测任务上验证了我们的校准技术，结果表明我们的方法提高了故障检测的性能和模型的可信度。可在https://github.com/AoShuang92/miscalibration_TS找到代码。

Aug, 2023

我们提出了一种基于多类对齐预测均值置信度和预测确定度（MACC）的新的训练时校准方法，通过鼓励模型在预softmax分布中提供低（或高）扩散，从而达到了领域内和领域外预测的最先进校准性能。

Sep, 2023

当前大量的工作专注于保护自主驾驶系统，这些系统在计算机视觉方面严重依赖于深度神经网络。我们研究了不同神经网络校准度量的耦合，重点关注稀疏化误差曲线下的面积（AUSE）指标。我们详述了确定最佳校准度使用期望校准误差（ECE）时存在的众所周知的一致性问题，并且我们还展示了AUSE、不确定性校准分数（UCS）以及不确定性校准误差（UCE）也存在类似问题。我们得出结论，目前的方法留下了一定的自由度，这使得无法为安全关键功能的鉴定提供独特的模型校准。此外，我们提出AUSE作为间接度量残余不确定性的方法，而这种不确定性对于固定的网络架构是不可减少的，这是由于底层数据生成过程中的随机性贡献以及假设空间限制所驱动的。

Jun, 2024

我们研究了深度神经网络的鲁棒后处理不确定性校准方法并提出了基于能量模型的新方法，该方法能够适应各种预测，并在各种情况下保持可靠性。

Jul, 2024