本文通过精细控制实验和给定数据集，考察了PLM模型在训练过程中的校准性能，发现仍然存在校准问题；然后对比了多种方法，提出基于已有方法的扩展性学习方法，证明其显著提高模型的不确定性估计水平。

Oct, 2022

通过对大型语言模型的可靠性进行置信度校准的系统检查，我们评估了在预训练和对齐训练阶段中不同训练设置（如参数尺度和训练数据）对模型校准的影响，并对生成、真实性和理解等方面进行了全面的评估。

Nov, 2023

现代自回归语言模型研究了在上下文学习中，如何在广泛数据上通过预测下一个令牌以最小化对数损失，以获得校准答案。通过大量实验，发现当增加模型大小、增加上下文学习示例以及使用指导、对话或强化学习等方法在精心策划的数据集上对模型进行微调时，性能和校准之间存在权衡，并且常用的重新校准技术在校准错误方面的改善有限，因此在期望模型可靠性的设置下，可能需要新的方法。

Dec, 2023

通过引入统一的校准框架，以及发展三种度量和两种置信度引导方法，提高大规模语言模型的校准能力，并进行了实验验证，进一步展示了大型模型不一定保证更好的校准，校准性能依赖于度量，自一致性方法在基准数据集上表现优异，通过微调、整合相关源文件、缩放温度、将自一致性与自我评估相结合等技术可以提高校准性，此研究不仅挑战了现有大规模语言模型校准的概念，还提供了改善长文生成可信度的实用方法。

Feb, 2024

通过从多个随机抽样的模型生成的分布中导出确定度來提高大型语言模型(LLM)预测的准确度。在多个开放和闭源模型上进行广泛评估，结果表明基于一致性的校准方法优于现有的事后方法，并提供了选择适用于不同LLMs特性的合适一致性度量标准的实用指南。

Feb, 2024

通过提出新的少样本特定切片校准框架，使语言模型能够提取出对于任意切片的校准信心估计，可以识别出领域特定的信心阈值，从而改善了准确度并且实验中相较于温度缩放法在MMLU上的校准误差提高了16%。

Mar, 2024

将语言模型从音频转换到文本，并且生成可校准的长篇文本，以便用户能够在后续决策中作出校准的概率预测。

Mar, 2024

通过将语言模型置信度分解为问题的不确定性和答案的忠诚度，我们提出了一种即插即用的方法来估计语言模型的置信度，并在4个MCQA数据集上对6个RLHF-LM进行实验，展现了良好的校准性能。此外，我们提出了两个新的评估指标IPR和CE，对模型的校准性进行了详细讨论，希望这项工作可以成为一个强有力的基线，并对模型的置信度校准提供一些见解。

Apr, 2024

在高风险应用中使用大型语言模型（LLMs）时，我们需要知道何时可以信赖它们的预测。本研究首先论证了仅仅使用提示是不足以实现良好校准的，然后展示了在一个小数据集上进行精调以创建具有良好概括性和小计算开销的不确定性估计的方法。我们还研究了可靠的LLM不确定性估计的机制，并通过用户研究展示了不确定性估计如何影响人与AI的协作环境中的人类使用LLMs。

Jun, 2024

本研究解决了大型语言模型（LLMs）与人类意图及价值观对齐的偏差问题，提出了一种新的序列到序列奖励建模方法。通过采用语言反馈而非标量反馈，该方法在无需额外注释的情况下改进了强化学习（RLHF）的效果，实验证明它提升了在多项自然语言处理任务中的性能。该创新方法显著减少了对话中的拒绝响应现象，并改善了文本摘要任务中的长响应偏倚。

Aug, 2024