该研究旨在提出一种更好的置信度校准指标 —MacroCE，该指标能更好地捕捉模型给出正确预测时高信心和给出错误预测时低信心的情况，并针对开放领域问答的实际应用，提出了新的校准方法 ConsCal，该方法不仅考虑模型的最终预测，还考虑了多个模型检查点的一致性预测，提供了一种全新的校准视角、新的指标以及根据指标提出了更加有效的校准方法。

May, 2022

本文探讨机器学习系统的置信度校准问题，特别是针对开放领域的阅读系统。作者提出了针对这种复杂模型的校准技术，并通过实验表明该方法有效，并可以在面对无法回答或未训练数据的问题时提高系统的准确性。

Mar, 2022

这篇论文研究了多语言预训练语言模型在问答任务中的校准性质，包括从不同维度研究了其在分布内、分布外和跨语言迁移设置下的校准情况，以及改进校准性的策略和技术。通过实验证明了自动翻译数据增强是提高模型校准性的一种高效技术，并进行了模型大小和多语言模型在不同任务和语言下与单语模型的比较的实验。

Nov, 2023

本文研究从校准的角度考察自然语言模型 (T5、BART、GPT-2) 的知识储备，找到可靠性评估，提高其置信度与正确概率的相关性的方法。实验数据表明，校准可以让模型的表现得到提高。

Dec, 2020

我们从不确定性的角度研究了问答系统，提出一种基于采样的可靠度量方法并发现它在校准答案方面的表现优于模型准确率或自验证方法，这对于回答相对模糊的问题有更明显的改善效果。

May, 2023

通过引入统一的校准框架，以及发展三种度量和两种置信度引导方法，提高大规模语言模型的校准能力，并进行了实验验证，进一步展示了大型模型不一定保证更好的校准，校准性能依赖于度量，自一致性方法在基准数据集上表现优异，通过微调、整合相关源文件、缩放温度、将自一致性与自我评估相结合等技术可以提高校准性，此研究不仅挑战了现有大规模语言模型校准的概念，还提供了改善长文生成可信度的实用方法。

Feb, 2024

研究了三种模型族的六种语义分析模型在两个英文语义分析数据集上的校准特征。基于三个模型的置信分数，提出并发布了两个数据集的新挑战分割。通过模拟注释器交互实验，证明了使用模型置信度可以帮助平衡专注任务的语义分析模型在可用性和安全性之间的权衡。提出了一个平衡了可用性和安全性的 DidYouMean 系统，并呼吁将校准包括在语义分析系统的评估中，并发布了一个计算校准度量的库。

Nov, 2022

本文提出了一种新方法，通过筛选不会被回答的问题来提高问答系统的效率，这基于一个有趣的新发现：基于最先进的问答系统的答案置信度分数可以用仅使用输入问题文本的模型很好地逼近，这使得非答案置信度分数低于系统阈值的问题可以进行预先拦截。

Sep, 2021

本文提出 CME 方法，结合模型解释来降低非归纳属性的模型信心度，进而提高预测的后验概率校准性能。在六个数据集上的实验表明，该方法提高了所有设置下的校准性能，并在温度缩放的情况下进一步降低了预期校准误差。

Nov, 2022

本文提出一种 MRC 模型后处理方法，依赖于 XGBoost 模型的校准器，结合手动特征和表示学习特征来改善模型的鲁棒性和性能表现，实验结果表明在针对敌对数据的情况下，模型的性能有超过 10% 的提升，同时也提升了原始和泛化数据集的性能。

Feb, 2022