研究在零样本场景下的大规模多语言语言模型（MMLMs）的标定问题，观察到很明显的误标定现象，在低资源语言或与英语语言类型不同的语种中尤为突出。进一步实证研究表明，温度缩放和标签平滑等标定方法能够在提高零样本场景下的标定过程中发挥良好作用，并发现少量样本数据能够显著降低标定误差。
Oct, 2022
本研究旨在评估从经过强化学习加人工反馈的预先训练语言模型中提取置信度得分的可行方法，通过合理的提示策略和温度缩放，成功降低超过 50％的校准误差
May, 2023
评估语言模型预测的可靠性和置信度以及解决其与 AI 安全需求的关系是一项重要研究领域，本文综述了语言模型置信度估计和校准的方法、技术和挑战，并提出了未来研究的方向。
Nov, 2023
为解决现实场景下对训练样本的有效利用，提出了一种训练算法 LM-TOAST，可以在保持原任务性能的同时，有效利用训练数据使预训练语言模型具有合理的置信度估计。
Jul, 2023
通过使用 “多校准” 技术，本文提出为大型语言模型生成可解释和可靠的置信度分数。通过在各种数据交叉组合上同时校准，可以显著提高校准和准确性。
Apr, 2024
通过从多个随机抽样的模型生成的分布中导出确定度來提高大型语言模型 (LLM) 预测的准确度。在多个开放和闭源模型上进行广泛评估，结果表明基于一致性的校准方法优于现有的事后方法，并提供了选择适用于不同 LLMs 特性的合适一致性度量标准的实用指南。
Feb, 2024
通过将语言模型置信度分解为问题的不确定性和答案的忠诚度，我们提出了一种即插即用的方法来估计语言模型的置信度，并在 4 个 MCQA 数据集上对 6 个 RLHF-LM 进行实验，展现了良好的校准性能。此外，我们提出了两个新的评估指标 IPR 和 CE，对模型的校准性进行了详细讨论，希望这项工作可以成为一个强有力的基线，并对模型的置信度校准提供一些见解。
本研究探究了视觉语言模型（VLMs）在不同架构、数据集和训练策略下的校准性能，发现温度缩放显著且一致地改善了校准性能，即使在分布转变和标签集改变的情况下，借此实验结果，我们强调了我们对 VLMs 的理解在关键实际场景中的潜在应用和重要性，旨在更可靠、有效地使用 VLMs。
在高风险应用中使用大型语言模型（LLMs）时，我们需要知道何时可以信赖它们的预测。本研究首先论证了仅仅使用提示是不足以实现良好校准的，然后展示了在一个小数据集上进行精调以创建具有良好概括性和小计算开销的不确定性估计的方法。我们还研究了可靠的 LLM 不确定性估计的机制，并通过用户研究展示了不确定性估计如何影响人与 AI 的协作环境中的人类使用 LLMs。
Jun, 2024
LitCab 是一种轻量级的校准机制，通过仅增加不到原始模型参数数量的 2% 的线性层对输入文本表示进行操作，改善了模型校准，提升了在不同文本生成任务上的性能，并对不同模型进行综合评估，得出了关于模型校准的关键发现。
Oct, 2023