通过引入统一的校准框架，以及发展三种度量和两种置信度引导方法，提高大规模语言模型的校准能力，并进行了实验验证，进一步展示了大型模型不一定保证更好的校准，校准性能依赖于度量，自一致性方法在基准数据集上表现优异，通过微调、整合相关源文件、缩放温度、将自一致性与自我评估相结合等技术可以提高校准性，此研究不仅挑战了现有大规模语言模型校准的概念，还提供了改善长文生成可信度的实用方法。

Feb, 2024

LitCab 是一种轻量级的校准机制，通过仅增加不到原始模型参数数量的 2% 的线性层对输入文本表示进行操作，改善了模型校准，提升了在不同文本生成任务上的性能，并对不同模型进行综合评估，得出了关于模型校准的关键发现。

Oct, 2023

本研究旨在评估从经过强化学习加人工反馈的预先训练语言模型中提取置信度得分的可行方法，通过合理的提示策略和温度缩放，成功降低超过 50％的校准误差

May, 2023

评估语言模型预测的可靠性和置信度以及解决其与 AI 安全需求的关系是一项重要研究领域，本文综述了语言模型置信度估计和校准的方法、技术和挑战，并提出了未来研究的方向。

Nov, 2023

通过对大型语言模型的可靠性进行置信度校准的系统检查，我们评估了在预训练和对齐训练阶段中不同训练设置（如参数尺度和训练数据）对模型校准的影响，并对生成、真实性和理解等方面进行了全面的评估。

Nov, 2023

自动校准基于大语言模型的评估器以提高与人类评估的相关性。

Sep, 2023

通过使用 “多校准” 技术，本文提出为大型语言模型生成可解释和可靠的置信度分数。通过在各种数据交叉组合上同时校准，可以显著提高校准和准确性。

Apr, 2024

大型语言模型为了赢得人类的信任，需要具备良好的校准能力，准确评估和传达其预测的正确概率。本研究通过实验研究了人类用户对于语言模型可信度的感知和个性化解释对此感知的影响，发现默认解释会导致用户过高估计模型的信心和准确性，而更准确反映模型内部可信度的解释能够对用户感知产生显著影响，增强用户对语言模型输出的信任和准确性评估。透明传达语言模型可信度在高风险应用中尤为重要，特别是需要理解人工智能生成信息可靠性的场景。

Jan, 2024

语言模型相对于人类生成的文本是否准确地表达语言变异性，以及 GPT2、BLOOM 和 ChatGPT 在从统计层面上评估这种能力时的失调问题和预期校准误差的失效问题。

Feb, 2024

这篇论文研究了多语言预训练语言模型在问答任务中的校准性质，包括从不同维度研究了其在分布内、分布外和跨语言迁移设置下的校准情况，以及改进校准性的策略和技术。通过实验证明了自动翻译数据增强是提高模型校准性的一种高效技术，并进行了模型大小和多语言模型在不同任务和语言下与单语模型的比较的实验。

Nov, 2023