通过引入统一的校准框架，以及发展三种度量和两种置信度引导方法，提高大规模语言模型的校准能力，并进行了实验验证，进一步展示了大型模型不一定保证更好的校准，校准性能依赖于度量，自一致性方法在基准数据集上表现优异，通过微调、整合相关源文件、缩放温度、将自一致性与自我评估相结合等技术可以提高校准性，此研究不仅挑战了现有大规模语言模型校准的概念，还提供了改善长文生成可信度的实用方法。

Feb, 2024

通过校准概率与自然语言推理模型一致性得分之间的关系，我们提出了一种改进抽象文本摘要模型的方法，该方法确保所生成的摘要更加一致且质量更高。

Oct, 2023

通过对大型语言模型的可靠性进行置信度校准的系统检查，我们评估了在预训练和对齐训练阶段中不同训练设置（如参数尺度和训练数据）对模型校准的影响，并对生成、真实性和理解等方面进行了全面的评估。

Nov, 2023

通过从多个随机抽样的模型生成的分布中导出确定度來提高大型语言模型 (LLM) 预测的准确度。在多个开放和闭源模型上进行广泛评估，结果表明基于一致性的校准方法优于现有的事后方法，并提供了选择适用于不同 LLMs 特性的合适一致性度量标准的实用指南。

Feb, 2024

在这项研究中，我们提出了一种同时具备公平性和校准性的模型构建方法，通过基于温度缩放的简单后处理技术来实现，同时对现有的校准损失函数进行修改以进行组内校准，从而在多种场景下实现公平和校准的模型。

Oct, 2023

通过引入极性校准概念，在传达文本信息的同时平衡波动偏向，我们的极性校准模型（PoCa）能够减轻输出摘要与输入文本之间的极性不匹配，并保持内容语义和语言质量。

Apr, 2024

该研究旨在提出一种更好的置信度校准指标 —MacroCE，该指标能更好地捕捉模型给出正确预测时高信心和给出错误预测时低信心的情况，并针对开放领域问答的实际应用，提出了新的校准方法 ConsCal，该方法不仅考虑模型的最终预测，还考虑了多个模型检查点的一致性预测，提供了一种全新的校准视角、新的指标以及根据指标提出了更加有效的校准方法。

May, 2022

我们设计了三种基于自洽性的成熟校准方法，用于数学推理任务的 LLM 发展。通过使用开源 LLMs（Mistral 和 LLaMA2）在 GSM8K 和 MathQA 两个流行的基准上进行评估，我们的方法在模型置信度和准确性之间建立了更好的联系，优于基于 p (True) 或 logit 的现有方法。

Mar, 2024

机器学习模型的校准至关重要，本文重新评估了最近文献中校准指标的报告情况，并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。

Jun, 2024

研究了问题回答中的校准问题，通过利用输入示例信息和数据增强，提高了在阅读理解基准测试中校准准确性 5-10％，并在开放检索设置中呈现了第一次的校准研究，比较了基于检索的跨度预测模型和答案生成模型的校准精度

Jun, 2021