Aug, 2024

基于知识图谱训练语言模型：对幻觉及其可检测性的洞察

HTML
PDF
TL;DR本研究针对语言模型的幻觉问题，特别是训练集中的正确答案如何影响幻觉现象。通过构建知识图谱数据集并训练不同规模的语言模型，发现更大的模型和更长的训练时间会降低幻觉发生率，但要实现较低的幻觉率需要显著更大的模型和计算成本。此外，研究还揭示了语言模型的规模与幻觉可检测性之间的逆向关系。
发现论文，激发创造
  • 谈话模型产生幻觉的起因：是数据集还是模型？

    这篇论文研究了知识驱动的对话模型中的幻觉问题，通过广泛的人类研究发现标准测试数据集中有超过60％的幻觉响应，导致模型产生幻觉现象。提出了关于训练数据和模型质量的重要问题，并为未来的研究提供了公开的批注。

    Apr, 2022

  • 大型语言模型中的幻觉调查：原则、分类、挑战与开放问题

    在这份调查中，我们旨在对大型语言模型（LLM）幻像领域的最新进展进行全面而深入的概述。我们从LLM幻像创新分类入手，然后深入探讨了导致幻像的因素。接下来，我们全面介绍了幻像检测方法和基准。此外，我们还相应介绍了用于减轻幻像的代表性方法。最后，我们分析了突出当前限制的挑战，并制定了未来LLM幻像研究的开放问题，旨在描绘发展方向。

    Nov, 2023

  • 细粒度幻觉检测与编辑语言模型

    大语言模型倾向于生成多样的事实不准确的陈述，本文提出了一个新的任务-自动细粒度幻觉检测，并提出了一个涵盖六种层次定义的幻觉类型的综合分类法。通过引入一个新的基准测试以评估，我们的分析结果显示ChatGPT和Llama 2-Chat的输出中有60%和75%的幻觉，而其中大多数幻觉属于未被充分研究的类别。为了解决这个问题的初步步骤，我们训练了FAVA，一个通过精心设计的合成数据生成来检测和纠正细粒度幻觉的检索增强的语言模型。在我们的基准测试中，我们的自动和人工评估显示FAVA在细粒度幻觉检测方面明显优于ChatGPT，尽管还存在大量改进的空间。FAVA提供的修改还提高了语言模型生成文本的准确性，导致了5-10%的FActScore改进。

    Jan, 2024

  • 基于大型语言模型内部状态的非监督实时幻觉检测

    LLMs出现的幻觉指的是LLMs产生的回应在逻辑上是连贯的，但事实上是不准确的。本文引入了一种名为MIND的无监督训练框架，利用LLMs的内部状态实时检测幻觉，无需手动注释，并提出了用于评估多个LLMs幻觉检测的新基准HELM。我们的实验证明，MIND在幻觉检测方面优于现有的最先进方法。

    Mar, 2024

  • 语言模型非事实性幻觉的机制研究

    我们的研究旨在探索语言模型(LMs)产生非事实幻觉的机制原因，并通过因果中介分析和嵌入空间投影，确定了两种普遍的机制原因：1)较低层MLPs中主语属性知识不足，2)较高层attention heads和MLPs中无法正确选择客体属性。通过对LM预训练检查点的审查，我们揭示了这两种幻觉机制原因的不同学习动态，并强调从因果分析中得出的属性特征可以有效构建幻觉检测器。我们的工作为LM事实错误提供了机制性理解。

    Mar, 2024

  • 关于大型语言模型对已知事实的臆断

    大型语言模型在回答事实性问题方面很成功，但也容易产生幻觉。我们通过推理动态的角度来调查LLMs拥有正确回答知识却仍然出现幻觉的现象，这是以往对幻觉研究中没有涉及的领域。通过两个关键思想，我们能够进行这种分析。首先，我们识别了查询相同三元知识但产生不同答案的实际问题。因此，模型在正确和错误输出上的行为差异提示了幻觉发生的模式。其次，为了测量这种模式，我们利用残差流到词汇空间的映射。我们揭示了在正确和幻觉案例之间，输出令牌概率在模型的不同层深度上的动态差异。在幻觉案例中，输出令牌的信息很少呈现出突然增加以及在模型的后期中始终表现出优势。利用动态曲线作为特征，我们构建了一个能够以88%的准确率准确检测幻觉预测的分类器。我们的研究揭示了理解LLMs在已知事实中产生幻觉的原因的启示，更重要的是，能够准确预测它们何时产生幻觉。

    Mar, 2024

  • 大规模语言模型生成中的幻觉检测：基于词元概率的方法

    使用两个简单的分类器和从其他LLM评估器获得的四个数值特征，本文引入了一种监督学习方法，取得了有希望的结果，并在三个不同基准测试中超越了当前最先进的成果。

    May, 2024

  • 消除LLM幻觉需要重新思考泛化

    通过广泛系统实验，我们展示了传统方法无法解释LLMs在实践中为什么会产生幻觉，并通过大量内存专家的混合来增强LLMs，可以轻松地记忆大数据集，为去除幻觉设计了Lamini-1模型。

    Jun, 2024

  • 利用图结构检测大型语言模型中的幻觉

    利用潜在空间结构及图结构和注意力网络检测大语言模型生成的幻觉，并通过对比学习提高模型鲁棒性。

    Jul, 2024

  • GraphEval：基于知识图谱的LLM幻觉评估框架

    利用知识图谱结构进行大型语言模型(LLM)的幻觉评估，发现特定的三元组更容易产生幻觉；同时与最先进的自然语言推理模型结合使用能够提高各种幻觉基准上的平衡准确性；最后通过利用知识图谱结构进行幻觉纠正，证明大多数幻觉确实可以被矫正。

    Jul, 2024