本文提出了一种深度学习置信度和准确性校准的通用方法，基于随机推断对网络的预测结果进行置信度和准确性分析并设计了一种新型的基于方差加权的置信度综合损失函数，以实现网络置信度的正确预测和校准。实验结果表明该算法有效地解决了深度神经网络在预测置信度上的过度自信问题，且在不同模型和数据集上表现出色。

Sep, 2018

本文研究神经网络中误差校准问题，并提出了使用Focal Loss和温度缩放的方法，通过自动调整超参数来实现良好的校准，同时在多个计算机视觉和自然语言处理数据集上进行广泛的实验，证明了该方法可以在不损失准确率的情况下获得实现真正校准预测的最新性能。

Feb, 2020

本研究提出了一种基于信息论的I-Max binning方法和共享类别标定的策略，旨在解决直方图划分方法在分级准确性和样本效率方面的局限，提供高质量多类别排名和校准估计。

Jun, 2020

本文探讨了深度神经网络中不确定性校准问题，并提出了一种针对域偏移的后处理校准方法，其通过对验证集的样本进行扰动，可大幅提高模型的校准性能。

Dec, 2020

本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量“几乎确定”置信度，导致常常过于自信。同时，文章提出可采用Mixup数据增强技术中的修改损失函数的方法来解决此类问题。

Jun, 2023

深度神经模型校准在构建可靠的安全关键应用的人工智能系统中起着重要作用。本文回顾了最新的校准方法，并对它们进行了原理解析。

Aug, 2023

深度神经网络的适当置信度校准对于安全关键任务中的可靠预测至关重要。近期的研究强调了校准技术引入的置信度过高问题，并成功在各种任务上展示了其成果。然而，置信度过低问题尚未得到足够重视。本文首先引入了一种新的指标，即校准错误评分，用于识别整体和类别上的校准状态，包括置信度过高或过低。我们的指标揭示了现有校准技术存在的缺陷，它们往往过度校准模型，并加剧了置信度过低的预测问题。接着，我们利用类别上的校准错误评分作为代理设计了一种既能应对置信度过高又能应对置信度过低的校准技术。我们进行了大量实验证明我们提出的方法明显优于现有的校准技术。我们还通过风险覆盖曲线在自动故障检测任务上验证了我们的校准技术，结果表明我们的方法提高了故障检测的性能和模型的可信度。可在https://github.com/AoShuang92/miscalibration_TS找到代码。

Aug, 2023

深度神经网络在各种机器学习任务中的应用越来越多，但随着这些模型复杂性的增加，尽管预测准确性得到了提高，但它们通常面临校准问题。我们的研究利用神经架构搜索（NAS）搜索空间，为深入探索校准特性提供了一个详尽的模型架构空间，并特别创建一个模型校准数据集，评估了117,702个唯一神经网络在常用的NATS-Bench搜索空间中的90个基于bin的校准度量和12个附加校准度量。同时，本研究探索了NAS中的校准问题，为进一步研究NAS校准提供了可能性。根据我们所了解，我们的研究代表了对校准特性进行的首次大规模调查，也是在NAS中对校准问题进行的首要研究。

Aug, 2023

我们提出了一种基于多类对齐预测均值置信度和预测确定度（MACC）的新的训练时校准方法，通过鼓励模型在预softmax分布中提供低（或高）扩散，从而达到了领域内和领域外预测的最先进校准性能。

Sep, 2023

通过元集合级联温度回归方法，本文提出了一种新颖的事后校准方法，通过对验证集上的数据增强模拟不同领域的转变，为不同的测试集定制细粒度的缩放函数，捕捉多样化的不确定性，并通过回归网络学习得到类别特定和置信度特定的缩放，实现元集合之间的校准。通过在MNIST、CIFAR-10和TinyImageNet上进行广泛的实验证明了该方法的有效性。

Feb, 2024