Nov, 2023

标定的语言模型必须产生幻象

PDF
TL;DR最近的语言模型在生成对外观听起来真实但实际上是虚假的文本方面存在神秘的倾向，这对于基于语言的人工智能系统的可用性构成了障碍，并可能对依赖其输出的人造成伤害。本研究表明，预训练语言模型出现虚构某些类型的事实的统计原因是固有的，与变压器 LM 架构或数据质量无关。对于那些无法从训练数据中确定真实性的 “任意” 事实，我们表明，在适用于生成式语言模型的统计校准条件下，产生幻觉是必要的。具体而言，如果任何事实的最大概率受限，则我们表明产生幻觉的概率接近于训练数据中仅发生一次的事实的分数（一种 “Good-Turing” 估计），即使假设没有错误的理想训练数据。一个结论是，预训练模型要成为足够好的预测器（即校准），可能需要进行后期处理以减轻在训练集中只出现一次的任意事实类型的幻觉。然而，我们的分析还表明，预训练不会在训练数据中多次出现的事实（如对文章和书籍的引用等）或系统性事实（如算术计算）上产生幻觉。因此，不同的架构和学习算法可能会减轻这些后一类幻觉。
发现论文，激发创造
  • 关于大型语言模型对已知事实的臆断

    大型语言模型在回答事实性问题方面很成功，但也容易产生幻觉。我们通过推理动态的角度来调查 LLMs 拥有正确回答知识却仍然出现幻觉的现象，这是以往对幻觉研究中没有涉及的领域。通过两个关键思想，我们能够进行这种分析。首先，我们识别了查询相同三元知识但产生不同答案的实际问题。因此，模型在正确和错误输出上的行为差异提示了幻觉发生的模式。其次，为了测量这种模式，我们利用残差流到词汇空间的映射。我们揭示了在正确和幻觉案例之间，输出令牌概率在模型的不同层深度上的动态差异。在幻觉案例中，输出令牌的信息很少呈现出突然增加以及在模型的后期中始终表现出优势。利用动态曲线作为特征，我们构建了一个能够以 88% 的准确率准确检测幻觉预测的分类器。我们的研究揭示了理解 LLMs 在已知事实中产生幻觉的原因的启示，更重要的是，能够准确预测它们何时产生幻觉。

    Mar, 2024

  • 认知幻象：大型语言模型中幻觉的综述

    研究总结了最近对大型语言模型中的幻觉现象的有趣见解，提出了一个包含各种文本生成任务中幻觉的新颖分类法，以及理论洞察、检测方法和改进方法，并提出了若干未来的研究方向。

    Sep, 2023

  • 消除 LLM 幻觉需要重新思考泛化

    通过广泛系统实验，我们展示了传统方法无法解释 LLMs 在实践中为什么会产生幻觉，并通过大量内存专家的混合来增强 LLMs，可以轻松地记忆大数据集，为去除幻觉设计了 Lamini-1 模型。

    Jun, 2024

  • 关于事实问答中幻觉的早期检测

    我们通过探究模型生成的输入、输出和内部状态中的指标来检测大型语言模型生成中的幻觉，结果表明这些指标在幻觉生成和非幻觉生成之间存在差异，我们进一步通过训练二分类器使用这些指标作为输入特征来将模型生成划分为幻觉和非幻觉，此二分类器的 AUROC 值达到 0.80，并且我们展示了先前的幻觉中的令牌可以预测随后的幻觉。

    Dec, 2023

  • 大型语言模型的零资源幻觉预防

    通过引入一种名为【自我检测】的新技术，本研究提出了一种预防性策略来减少大型语言模型中的 “幻觉” 现象，实验证明该技术在幻觉检测方面表现优异，对于提高语言助手的可靠性、适用性和解释性具有重要意义。

    Sep, 2023

  • 关于有条件语言生成中的幻觉和预测不确定性

    研究了深度神经模型在自然语言生成任务中容易出现虚假或不存在的事实，分析了预测不确定性与虚假信息之间的关系，提出了一种简单的扩展 beam 搜索算法来减少虚假信息。研究表明，更高的预测不确定性与更高的虚假信息存在相关性，认知不确定性比卡方不确定性和总不确定性更能表明虚假信息。探索了标准指标性能和虚假信息量的平衡，证明了所提出的扩展 beam 搜索算法的有效性。

    Mar, 2021

  • 幻觉是不可避免的：大型语言模型的固有限制

    本研究证明，在大型语言模型中消除幻觉是不可能的，因为我们定义了一个形式世界，其中幻觉被定义为一个可计算的语言模型与一个可计算的真实函数之间的不一致性。通过使用学习理论的结果，我们表明语言模型无法学习所有的可计算函数，因此它们将始终产生幻觉。此外，我们还描述了真实世界中受幻觉影响的任务，并通过实证验证了我们的论点。最后，我们讨论了现有幻觉减轻方法的可能机制和功效，以及对安全部署大型语言模型的实际影响。

    Jan, 2024

  • 推理任务中大型语言模型产生幻觉的来源

    该论文通过对多个大型语言模型的行为研究发现，训练数据的记忆和频率偏好是导致生成式大型语言模型产生幻觉的两个主要因素，这些模型在自然语言推断等应用任务中表现出明显的问题。

    May, 2023

  • 通过模型内省理解和检测神经机器翻译中的幻觉

    通过分析相对标记的贡献来确定神经序列生成模型的幻觉内在模型症状，使用这些症状设计出一个轻量级的幻觉检测器，在手动标注的英中和德英翻译测试上优于基于质量估计或大型预训练模型的分类器。

    Jan, 2023

  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023