通过帕累托最优自我监督实现大型语言模型的自动校准和误差修正

Jun, 2023

通过帕累托最优自我监督实现大型语言模型的自动校准和误差修正

Automatic Calibration and Error Correction for Large Language Models via Pareto Optimal Self-Supervision

Theodore Zhao, Mu Wei, J. Samuel Preston, Hoifung Poon

TL;DR本文提出了一种 Pareto 最优的自我监督框架，该框架可以利用可用的程序监督来系统地校准 LLM 响应，为每个响应产生风险分数，从而不需要进行任何额外的人工努力。

Abstract

large language models (LLMs) have demonstrated remarkable capabilities out of box for a wide range of applications, yet accuracy still remains a major growth area, especially in mission-critical domains such as biomedic

large language models confidence calibration self-supervision framework risk score biomedicine

发现论文，激发创造

从大型语言模型中校正长文生成

通过引入统一的校准框架，以及发展三种度量和两种置信度引导方法，提高大规模语言模型的校准能力，并进行了实验验证，进一步展示了大型模型不一定保证更好的校准，校准性能依赖于度量，自一致性方法在基准数据集上表现优异，通过微调、整合相关源文件、缩放温度、将自一致性与自我评估相结合等技术可以提高校准性，此研究不仅挑战了现有大规模语言模型校准的概念，还提供了改善长文生成可信度的实用方法。

Feb, 2024

通过询问进行校准：从人类反馈 Fine-Tune 的语言模型中获取校准置信度得分的策略

本研究旨在评估从经过强化学习加人工反馈的预先训练语言模型中提取置信度得分的可行方法，通过合理的提示策略和温度缩放，成功降低超过 50％的校准误差

May, 2023

校准基于 LLM 的评估器

自动校准基于大语言模型的评估器以提高与人类评估的相关性。

Sep, 2023

LLMs 的置信度评分多重校准

通过使用 “多校准” 技术，本文提出为大型语言模型生成可解释和可靠的置信度分数。通过在各种数据交叉组合上同时校准，可以显著提高校准和准确性。

Apr, 2024

使预训练语言模型既成为任务求解器又成为自我校准器

为解决现实场景下对训练样本的有效利用，提出了一种训练算法 LM-TOAST，可以在保持原任务性能的同时，有效利用训练数据使预训练语言模型具有合理的置信度估计。

Jul, 2023

大型语言模型必须学会自知之明

在高风险应用中使用大型语言模型（LLMs）时，我们需要知道何时可以信赖它们的预测。本研究首先论证了仅仅使用提示是不足以实现良好校准的，然后展示了在一个小数据集上进行精调以创建具有良好概括性和小计算开销的不确定性估计的方法。我们还研究了可靠的 LLM 不确定性估计的机制，并通过用户研究展示了不确定性估计如何影响人与 AI 的协作环境中的人类使用 LLMs。

Jun, 2024

LLMs 的不确定性估计与量化：一种简单的监督方法

通过使用标记的数据集，本文研究了针对大型语言模型（LLMs）的不确定性估计和校准问题，提出了一个监督学习方法来估计 LLMs 响应的不确定性，并展示了利用隐藏激活对不同任务进行增强不确定性估计的好处和在超出分布范围的情况下的鲁棒性，同时区分了不确定性估计任务和不确定性校准任务，并表明更好的不确定性估计模式会导致更好的校准性能。

Apr, 2024

大型语言模型中自我评估提高选择性生成

使用大型语言模型进行自我评估可以提高生成内容的准确性，并与生成内容的整体质量更好地相关。

Dec, 2023

语言模型置信度评估与校准调查

评估语言模型预测的可靠性和置信度以及解决其与 AI 安全需求的关系是一项重要研究领域，本文综述了语言模型置信度估计和校准的方法、技术和挑战，并提出了未来研究的方向。

Nov, 2023

使用大型语言模型进行文本分类的无监督校准与先验适应

本文提出了一种适用于文本分类任务的策略，无需标签样本，只需少量样本查询，并将先验类分布适应于任务，通过对模型后验概率进行校准，结果表明这些方法在提示中的不同训练次数下优于未适应模型。

Jul, 2023