Jul, 2024

长文问答中细粒度的幻觉检测与缓解

HTML
PDF
TL;DR这篇论文介绍了HalucQuestQA，它是第一个具有本地化错误注释的幻觉数据集，用于人类编写和模型生成的长篇问答答案。研究人员通过专家注解员，以及对698个问答对和4.7k个范围级别错误注释进行了五种不同错误类型的全面分析。他们训练了一个自动反馈模型，预测具有不完整信息的错误范围并提供相关解释。最后，他们提出了一种基于提示的方法，Error-informed refinement，利用从学习到的反馈模型中的信号来改进生成的答案，从而减少幻觉并提高答案质量。此外，人类发现我们的方法生成的答案全面且更受青睐（84%），相比基准答案。
发现论文，激发创造
  • 大型视觉语言模型中的幻觉检测与预防

    介绍M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用Fine-grained Direct Preference Optimization和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供了重要的改进。

    Aug, 2023

  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • DelucionQA: 领域特定问答中的幻觉检测

    大型语言模型（LLM）生成的文本中存在幻觉现象，通过信息检索来减少幻觉数量，但仍存在各种原因导致幻觉产生。为了促进这个方向的研究，我们引入了一个复杂的数据集DelucionQA，用于捕捉检索增强LLM在特定领域的问答任务中所产生的幻觉，并提出了一系列幻觉检测方法作为未来研究的基准。分析和案例研究还提供了有关目标场景中幻觉现象的宝贵见解。

    Dec, 2023

  • 关于事实问答中幻觉的早期检测

    我们通过探究模型生成的输入、输出和内部状态中的指标来检测大型语言模型生成中的幻觉，结果表明这些指标在幻觉生成和非幻觉生成之间存在差异，我们进一步通过训练二分类器使用这些指标作为输入特征来将模型生成划分为幻觉和非幻觉，此二分类器的AUROC值达到0.80，并且我们展示了先前的幻觉中的令牌可以预测随后的幻觉。

    Dec, 2023

  • 细粒度幻觉检测与编辑语言模型

    大语言模型倾向于生成多样的事实不准确的陈述，本文提出了一个新的任务-自动细粒度幻觉检测，并提出了一个涵盖六种层次定义的幻觉类型的综合分类法。通过引入一个新的基准测试以评估，我们的分析结果显示ChatGPT和Llama 2-Chat的输出中有60%和75%的幻觉，而其中大多数幻觉属于未被充分研究的类别。为了解决这个问题的初步步骤，我们训练了FAVA，一个通过精心设计的合成数据生成来检测和纠正细粒度幻觉的检索增强的语言模型。在我们的基准测试中，我们的自动和人工评估显示FAVA在细粒度幻觉检测方面明显优于ChatGPT，尽管还存在大量改进的空间。FAVA提供的修改还提高了语言模型生成文本的准确性，导致了5-10%的FActScore改进。

    Jan, 2024

  • 关于大型语言模型对已知事实的臆断

    大型语言模型在回答事实性问题方面很成功，但也容易产生幻觉。我们通过推理动态的角度来调查LLMs拥有正确回答知识却仍然出现幻觉的现象，这是以往对幻觉研究中没有涉及的领域。通过两个关键思想，我们能够进行这种分析。首先，我们识别了查询相同三元知识但产生不同答案的实际问题。因此，模型在正确和错误输出上的行为差异提示了幻觉发生的模式。其次，为了测量这种模式，我们利用残差流到词汇空间的映射。我们揭示了在正确和幻觉案例之间，输出令牌概率在模型的不同层深度上的动态差异。在幻觉案例中，输出令牌的信息很少呈现出突然增加以及在模型的后期中始终表现出优势。利用动态曲线作为特征，我们构建了一个能够以88%的准确率准确检测幻觉预测的分类器。我们的研究揭示了理解LLMs在已知事实中产生幻觉的原因的启示，更重要的是，能够准确预测它们何时产生幻觉。

    Mar, 2024

  • ANAH：大型语言模型中幻觉的分析注释

    减少大型语言模型的“幻觉”问题对其广泛应用非常关键。本论文提出了ANAH数据集，对生成式问答中语言模型的“幻觉”进行了精细的测量与注释，并通过实验验证了ANAH训练的生成式标注模型在细粒度幻觉注释方面的优势，表现超过目前的开源大型语言模型和GPT-3.5，与GPT-4的性能竞争，对于未知问题具有更好的泛化能力。

    May, 2024

  • 幻觉检测：在大型语言模型中可靠地区分可信答案

    通过使用名为RelD的鲁棒性判别器，本文提出了一种有效检测大型语言模型中幻觉问题的方法，并在构建的RelQA双语问答对话数据集上进行了训练。实验结果表明，该方法成功检测到了由不同大型语言模型生成的幻觉回答，且能够区分内部和外部分布数据集中的幻觉问题。此研究为可靠答案的检测做出了重要贡献，并对未来幻觉问题的缓解具有显著的意义。

    Jul, 2024

  • ANAH-v2: 大规模语言模型的分析幻觉注释扩展

    该论文介绍了一种迭代自训练框架，可以扩展大型语言模型幻觉注释数据集的规模，提高幻觉注释器的准确性，并且通过先进的零样本推理，在HaluEval和HalluQA上获得了全新的幻觉检测结果。

    Jul, 2024

  • THaMES：一个用于减轻和评估大型语言模型幻觉的端到端工具

    该研究解决了大型语言模型中幻觉问题，即生成不准确内容的挑战，并指出现有方法的不足。论文提出THaMES，一个综合框架，能够自动生成测试集并评估幻觉的减轻效果，通过多种策略优化模型能力，结果表明商用模型在特定情况下更依赖不同的减轻策略，且参数高效微调显著提升模型表现。

    Sep, 2024