Oct, 2023

LitCab: 轻量级语言模型校准在多种长度输出上

PDF
TL;DRLitCab 是一种轻量级的校准机制，通过仅增加不到原始模型参数数量的 2% 的线性层对输入文本表示进行操作，改善了模型校准，提升了在不同文本生成任务上的性能，并对不同模型进行综合评估，得出了关于模型校准的关键发现。
model calibrationlanguage modelshallucinationslitcablm evaluation
发现论文，激发创造
  • 语言模型的语言校准

    将语言模型从音频转换到文本，并且生成可校准的长篇文本，以便用户能够在后续决策中作出校准的概率预测。

    Mar, 2024

  • 从大型语言模型中校正长文生成

    通过引入统一的校准框架，以及发展三种度量和两种置信度引导方法，提高大规模语言模型的校准能力，并进行了实验验证，进一步展示了大型模型不一定保证更好的校准，校准性能依赖于度量，自一致性方法在基准数据集上表现优异，通过微调、整合相关源文件、缩放温度、将自一致性与自我评估相结合等技术可以提高校准性，此研究不仅挑战了现有大规模语言模型校准的概念，还提供了改善长文生成可信度的实用方法。

    Feb, 2024

  • 通过基于激活的置信度校准和引导解码增强语言模型的真实性

    在本文中，我们首先提出一种基于激活的校准方法 ActCab，它在语言模型的最后一层激活上训练一个线性层，能更好地捕捉知识的表征。在 ActCab 的基础上，我们进一步提出了一种以置信度为指导的解码策略 CoDec，以从语言模型中得到置信度高的真实答案。通过在五个热门问答基准上进行评估，ActCab 在校准性能方面优于所有竞争基准，例如平均期望校准误差减少了最高 39%。进一步对 CoDec 进行的实验证明，在挑战性问答数据集（如 TruthfulQA）上提升了几个语言模型的真实性，突显了置信度信号在增强真实性方面的价值。

    Jun, 2024

  • LLMs 的置信度评分多重校准

    通过使用 “多校准” 技术，本文提出为大型语言模型生成可解释和可靠的置信度分数。通过在各种数据交叉组合上同时校准，可以显著提高校准和准确性。

    Apr, 2024

  • 关于大型语言模型和对齐的校准

    通过对大型语言模型的可靠性进行置信度校准的系统检查，我们评估了在预训练和对齐训练阶段中不同训练设置（如参数尺度和训练数据）对模型校准的影响，并对生成、真实性和理解等方面进行了全面的评估。

    Nov, 2023

  • 用于二元问题回答的校准大型语言模型

    利用归纳 Venn--Abers 预测器（IVAP）校准二元标签对应的输出标记的概率，我们的实验结果表明 IVAP 方法在各种标签标记选择下始终优于常用的温度缩放方法，能够产生良好校准的概率并保持高的预测质量。

    Jul, 2024

  • 视觉语言模型的开放词汇校准

    通过调整温度值，根据预测文本标签与基本类之间的距离，我们提出了一种名为距离感知校准（DAC）的简单有效方法，来解决视觉语言模型中存在的置信度校准问题。在 11 个不同的下游数据集上对 7 种不同的提示学习方法进行的实验验证了 DAC 的有效性，并且不影响推理速度。

    Feb, 2024

  • 少样本重新校准语言模型

    通过提出新的少样本特定切片校准框架，使语言模型能够提取出对于任意切片的校准信心估计，可以识别出领域特定的信心阈值，从而改善了准确度并且实验中相较于温度缩放法在 MMLU 上的校准误差提高了 16%。

    Mar, 2024

  • 校准基于 LLM 的评估器

    自动校准基于大语言模型的评估器以提高与人类评估的相关性。

    Sep, 2023

  • 多语言问答模型的校准理解

    这篇论文研究了多语言预训练语言模型在问答任务中的校准性质，包括从不同维度研究了其在分布内、分布外和跨语言迁移设置下的校准情况，以及改进校准性的策略和技术。通过实验证明了自动翻译数据增强是提高模型校准性的一种高效技术，并进行了模型大小和多语言模型在不同任务和语言下与单语模型的比较的实验。

    Nov, 2023