EMNLPOct, 2023

批评驱动解码以减轻数据到文本生成中的幻觉

PDF
TL;DR本文提出一种新方法，通过将生成器语言模型的概率输出与特殊的 “文本评论家” 分类器的输出结合起来，以评估输入数据与生成的文本之间的匹配程度，从而减轻神经数据到文本生成中的文字幻觉。实验证明，该方法对 WebNLG 和 OpenDialKG 基准具有改进效果。
hallucinationneural data-to-text generationtext criticlanguage modelgeneration improvement
发现论文，激发创造
  • 坚持事实：自信解码实现忠实数据到文本生成

    本文针对数据到文本生成中存在的幻觉问题，提出通过引入自信度分数及变分贝叶斯训练框架来防止生成不受原数据支持的文本，实验结果表明该方法比现有最先进的方法更加忠实于原始数据，并在 WebNLG 数据集上取得强大的表现。

    Oct, 2019

  • 及时处理，节省九倍：通过验证低置信度生成结果来检测和减轻 LM 的幻觉

    本研究旨在积极检测和减轻生成过程中的 “幻觉” 问题，通过候选幻觉的识别、校验、减轻和继续生成的方法，成功降低了 GPT-3 模型的幻觉比例平均从 47.5% 下降到 14.5%。

    Jul, 2023

  • 可控幻觉：从嘈杂数据学习如何生成忠实的输出

    本文介绍了在进行神经文本生成时，由于数据量不足，导致模型对于噪声的过度敏感，从而完成了对于 “幻觉” 生成文本的控制，通过该方法对 WikiBio 语料库进行测试，证明了其在人工和自动评估中的高效性。

    Oct, 2020

  • 检测条件神经序列生成中产生的虚假内容

    本文介绍了一种使用预训练模型和人工标注数据来检测神经序列模型输出中的虚构内容，并在机器翻译和摘要生成等任务中获得显著效果的方法。

    Nov, 2020

  • 信任你的证据：上下文感知解码减少幻觉

    提出了一种上下文感知解码技术（CAD），通过对比上下文的存在与否来放大模型生成输出的概率得分，从而显著提高了 OPT、GPT、LLaMA 和 FLAN-T5 等不同 LM 系列在摘要任务中的可信度，并能够有效地改变模型的先验知识以解决知识冲突而带来的质量问题。

    May, 2023

  • 在数据到文本生成中控制单词级别的幻觉

    通过使用多分支解码器，结合基于共现分析和依存解析的简单高效的评分过程，针对 Data-to-Text Generation 的问题 ——Hallucinations 作出了研究，成功地减少了 Hallucinations，同时保持生成文本的流畅性和连贯性。

    Feb, 2021

  • 通过引发幻觉减轻大型语言模型的幻觉

    提出的 “感应 - 对比解码” 策略通过降低幻觉导致的不真实预测，增强了大型语言模型生成内容的可信度。在多个模型规模和系列上的实验证明，该方法能有效提高大型语言模型的内容真实性。

    Dec, 2023

  • 自然语言生成中幻觉的调查

    本文综述了关于深度学习在自然语言生成中出现幻觉问题的度量、缓解方法和未来方向，以及针对抽象摘要、对话生成、生成式问答、数据到文本生成、机器翻译和视觉语言生成的幻觉问题的任务特定研究进展。

    Feb, 2022

  • 基于评论引导的控制文本生成解码

    本文介绍了一种新型的批判性解码方法来实现语言生成的控制，在控制主题、情感和排毒方面，表现得比以前的方法更好，并且在零 - shot 情况下表现出卓越的泛化能力。

    Dec, 2022

  • 基于令牌级别的无参考幻象检测基准测试 —— 自由形式文本生成

    该研究提出了一种基于 token 级别的、无参考幻觉检测任务以及相应的 HaDes 数据集，旨在解决预训练生成模型的幻觉问题，并通过迭代模型策略来减轻标签不平衡问题。

    Apr, 2021