通过引入统一的校准框架，以及发展三种度量和两种置信度引导方法，提高大规模语言模型的校准能力，并进行了实验验证，进一步展示了大型模型不一定保证更好的校准，校准性能依赖于度量，自一致性方法在基准数据集上表现优异，通过微调、整合相关源文件、缩放温度、将自一致性与自我评估相结合等技术可以提高校准性，此研究不仅挑战了现有大规模语言模型校准的概念，还提供了改善长文生成可信度的实用方法。

Feb, 2024

这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

Oct, 2022

通过对大型语言模型的可靠性进行置信度校准的系统检查，我们评估了在预训练和对齐训练阶段中不同训练设置（如参数尺度和训练数据）对模型校准的影响，并对生成、真实性和理解等方面进行了全面的评估。

Nov, 2023

通过使用大型语言模型 (LLMs) 自动 AI 方法生成的摘要进行性能测量和校准来检测其是否与人工生成的摘要足够相似。

Apr, 2024

机器学习模型的校准至关重要，本文重新评估了最近文献中校准指标的报告情况，并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。

Jun, 2024

本文研究了不确定性和可解释性之间的联系，特别是探讨了置信度和解释性之间的关系，发现模型的置信度与我们解释模型的能力有交互作用，并提出了一种简单的实践方法来改善解释结果：调整置信度以提高解释效果。

Jul, 2022

将语言模型从音频转换到文本，并且生成可校准的长篇文本，以便用户能够在后续决策中作出校准的概率预测。

Mar, 2024

本文研究二元分类器中的置信度值使用，发现对于决策者来说确定何时信任预测很困难，提出了置信度值与决策者自身置信度一致时决策最优且易于发现，提出了多重校准并验证其有效性在 AI 辅助决策场景中。

May, 2023

评估语言模型预测的可靠性和置信度以及解决其与 AI 安全需求的关系是一项重要研究领域，本文综述了语言模型置信度估计和校准的方法、技术和挑战，并提出了未来研究的方向。

Nov, 2023

研究了概率分类器的不确定性表示和校准，提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。

Feb, 2019