Aug, 2023

通过内在和外在的置信度评估量化任意语言模型的答案不确定性

PDF
TL;DRBSDetector 通过估计预训练的大型语言模型生成的任何输出的数值置信度得分，引入了检测不良和推测性答案的方法。通过采样多个 LLM 的响应并考虑最高置信度得分的响应，我们还可以从相同的 LLM 获取更准确的响应，而无需任何额外的训练步骤。
bsdetectorlarge language modelconfidence scoreuncertainty quantificationuncertainty estimation procedures
发现论文，激发创造
  • 生成有信心：针对黑盒大型语言模型的不确定性量化

    该研究探讨了基于黑盒 LLMs 的自然语言生成的不确定性计量，提出几个置信度 / 不确定度统计度量标准，并发现语义分散的平均值可以作为评估 LLMs 响应质量的可靠指标。

    May, 2023

  • 大型语言模型信心估计通过黑盒访问

    利用黑盒或查询访问大型语言模型，通过工程化新特征并训练一个可解释的逻辑回归模型，我们提出了一个简单且可扩展的框架来估算模型响应的置信度。我们的实证研究表明，我们的简单框架在 TriviaQA、SQuAD、CoQA 和自然提问等基准数据集上，在估算 flan-ul2、llama-13b 和 mistral-7b 的置信度时，不仅稳定地优于现有的黑盒置信度估算方法，有时甚至在 AUROC 上提高超过 10%。此外，我们的可解释方法揭示了预测置信度的特征，使得我们为一个语言模型构建的置信度模型在给定数据集上能够泛化到其他语言模型。

    Jun, 2024

  • 自然语言生成中的主观不确定性量化和校准

    利用贝叶斯决策理论的视角，本研究通过假设我们的效用是通过比较生成的回答和理论上的真实回答的相似度来衡量，从而解决了大语言模型生成自由形式回答时的不确定性量化问题。我们进一步从缺失数据的角度推导出一种表征为过量风险的认知不确定性衡量方法。所提出的方法可以应用于黑盒语言模型，并在问答与机器翻译任务上展示了如何从 GPT 和 Gemini 模型中提取具有广泛意义的不确定性估计并量化它们的校准度。

    Jun, 2024

  • LLMDet: 一种大型语言模型检测工具

    本文提出了一种高效、安全、可扩展的检测工具 LLMDet，通过利用预训练获得的模型下一个令牌概率的先验信息，计算文本的代理困惑度，并使用通过代理困惑度测量的模型的自身水印信息来检测文本的来源；同时，在识别人类撰写的文本方面实现了 97.97% 的识别准确率，并在识别生成语言模型方面显示出了很好的结果。

    May, 2023

  • 结合置信度引导和基于样本的方法进行虚假信息缓解中的不确定性量化

    我们提出一种不确定性量化框架，利用直接置信度询问和基于样本的一致性方法，为 NLP 的假新闻抵制解决方案提供更好的校准，通过研究基于样本的一致性方法的校准，评估坚固的数值化提示的性能和分布偏移，结合基于样本的一致性和指示性方法提出一种混合框架，提高大型语言模型在假新闻抵制应用中的可靠性。

    Jan, 2024

  • 语言模型中的不确定性：通过排名校准进行评估

    开发了一种名为 “Rank-Calibration” 的新颖实用框架，用于评估语言模型的不确定性和置信度，通过量化与生成质量的关系偏差的方式，消除了二进制阈值化的需求，并在实证验证中展示了方法的广泛适用性和细粒度可解释性。

    Apr, 2024

  • 大型语言模型的置信度估计：基于多个答案反思之前三思

    针对大型语言模型（LLM），特别是黑盒模型的应用，评估输出可信度的置信度估计是关键。现有的 LLM 置信度估计通常因 LLM 对生成的错误答案过于自信而缺乏校准。现有方法解决过度自信问题的能力受到一个重要限制，即它们仅考虑 LLM 生成的一个答案的置信度。为了解决这个限制，我们提出了一种新的范式，全面评估多个候选答案的可信度以减轻对错误答案的过度自信。基于这个范式，我们引入了一个两步框架，首先指导 LLM 反思并提供每个答案的理由，然后汇集这些理由进行全面的置信度估计。这个框架可以与现有的置信度估计方法结合，实现更好的校准。对三个任务的六个数据集的实验证明了所提框架的合理性和有效性。

    Mar, 2024

  • 大型语言模型中的偏差定量认证

    大型语言模型（LLMs）可以产生展现社交偏见并支持刻板印象的回答。然而，传统的基准测试无法充分评估 LLM 偏见，因为它无法扩展到大量的提示集，并且没有提供保证。因此，我们提出了一种新的认证框架 QuaCer-B（Bias 的定量认证），它提供了在大量提示集下从目标 LLMs 获取无偏回答的形式保证。证书包括从分布中采样的包含敏感属性的任何提示集获得有偏回答的概率的高置信度上限。我们通过在给定分布中随机令牌序列、手动越狱的混合和 LLM 嵌入空间中的越狱的提示上对 LLM 的偏见进行证明。我们使用 QuaCer-B 对流行的 LLMs 进行认证，并呈现关于其偏见的新见解。

    May, 2024

  • 基于不确定性的选择性问题回答语言建模

    我们提出了一种自动化的大语言模型（LLM）转换方法，可以产生能够在每个预测中估计不确定性的具有不确定性感知能力的 LLM。我们的方法与模型和数据无关，计算效率高，不依赖外部模型或系统。我们在选择性问答环境下评估了转换模型，即尽可能回答问题同时保持给定的准确性，在必要时放弃提供预测。作为我们结果的一部分，我们在 SQuAD 抽取式问答任务和 TruthfulQA 生成式问答任务上测试了 BERT 和 Llama 2 模型变体。我们表明，使用我们方法提供的不确定性估计有选择性地回答问题，可以显著提高准确性，相比直接使用模型概率。

    Nov, 2023

  • 估计大型语言模型置信度的方法

    评估测量大型语言模型（LLMs）在复杂医学任务中提供诊断建议时的置信度的方法，结果发现 SC Agreement Frequency 是测量 GPT4 置信度最有用的方法。

    Nov, 2023