COLINGFeb, 2024

生成模型的信实性在上下文迁移下的分析

PDF
TL;DR本研究引入了一种知识增强生成器，旨在生成依托于上下文知识的信息，无论上下文如何变化。我们的研究重点探究在动态知识存在时生成型问答的忠实度，并分析其产生原因。我们提出了一种简单而有效的探测此类幻觉的方法，并发现所有模型都倾向于生成以往的答案作为幻觉。通过一系列实验证明了上下文在幻觉中扮演的关键角色，包括训练和测试阶段，从不同角度获得更深入的洞察。
knowledge-augmented generatorcontextual knowledgehallucinationsgenerative question answeringparametric memory
发现论文，激发创造
  • 基于实体的问答中的知识冲突

    本文研究了知识依赖任务中遇到的知识冲突问题，找出造成模型幻觉的原因，提出了一种简单的减轻过度依赖学习参数的方法，可以减少幻觉现象并提高模型的泛化性能。

    Sep, 2021

  • 遵从文档还是现实世界？通过实体链接的知识在抽象摘要中减轻幻觉

    使用外部世界知识来提高文摘的 “忠实度” 能够有效避免内容失真的问题，并且外部知识库可以提高摘要的准确性。

    Apr, 2022

  • 通过对比候选生成和选择提高抽象摘要的忠实度

    通过对替身候选生成和选择的研究，我们提出了一个模型无关的后处理技术来修正当前神经抽象摘要生成模型中常见的不忠于原始内容的摘要幻觉现象，我们学习了一个判别式修正模型并证明，通过替代抽象式中的具名实体和数量标识来代替同源文本中语义相似类型的实体可以有效识别和修正这些不符合原文本实质的幻觉，希望此方法可以为未来的神经抽象摘要生成方向的研究提供新的思路。

    Apr, 2021

  • 信任你的证据：上下文感知解码减少幻觉

    提出了一种上下文感知解码技术（CAD），通过对比上下文的存在与否来放大模型生成输出的概率得分，从而显著提高了 OPT、GPT、LLaMA 和 FLAN-T5 等不同 LM 系列在摘要任务中的可信度，并能够有效地改变模型的先验知识以解决知识冲突而带来的质量问题。

    May, 2023

  • 减轻知识驱动对话生成中的幻觉的因果观察

    本文通过反事实推理方法分析了幻觉问题背后的因果关系，提出了一种可能的解决方案，即通过利用对话 - 知识交互来减轻幻觉，在不影响对话性能的同时适应不同的生成模型。希望我们的努力能够支持并呼吁更多重视开发轻量级技术以实现强大可靠的对话系统。

    Apr, 2024

  • 论抽象化摘要中的忠实度与客观性

    分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

    May, 2020

  • 内部表征视角下的上下文锐度作为警报：减轻幻觉

    大型语言模型经常出现虚幻和事实错误，本研究从内部表征的角度探讨了 LLM 幻觉的潜在机制，并发现了与幻觉相关的显著模式：相对于错误生成，正确生成在上下文令牌的隐藏状态中具有更尖锐的上下文激活。基于这一发现，我们提出了一种基于熵的度量方式来量化上下文隐藏状态中的 “尖锐度”，并将其纳入解码过程中，形成一种约束解码方法。在各种知识获取和幻觉评估基准测试上进行的实验表明我们的方法具有持续的有效性，例如在 TruthfulQA 上获得了高达 8.6 个百分点的提升。我们相信这项研究可以改善我们对幻觉的理解，并作为幻觉缓解的实用解决方案。

    Mar, 2024

  • 坚持事实：自信解码实现忠实数据到文本生成

    本文针对数据到文本生成中存在的幻觉问题，提出通过引入自信度分数及变分贝叶斯训练框架来防止生成不受原数据支持的文本，实验结果表明该方法比现有最先进的方法更加忠实于原始数据，并在 WebNLG 数据集上取得强大的表现。

    Oct, 2019

  • 基于实体挖掘的后期话语优化方法用于忠实的知识驱动对话

    提出了一种名为 REM 的后期修饰方法，以增强生成的幻觉话语的质量和忠诚度，通过根据源知识对其进行修饰，减少了话语中的实体幻觉。

    Jun, 2024

  • 基于数据的方法生成忠实和高质量的患者总结（利用大型语言模型）

    使用大型语言模型生成基于医生笔记的患者摘要，研究训练数据对生成摘要的准确性和质量的影响，使用对幻觉的严格标注协议，评估基于 Llama 2 和 GPT-4 的生成摘要的幻觉现象及相关信息。

    Feb, 2024