EMNLPOct, 2022

互信息在抽象摘要中减轻幻觉

PDF
TL;DR本文发现了一个简单的标准 —— 模型不确定性高 —— 会导致生成更多的错误内容（即幻觉），并提出了一种解码策略，该策略在存在不确定性时优化源和目标单词的点间互信息，从而减少幻觉的出现，并在 XSum 数据集上进行了实验证明，该方法降低了幻觉的概率，同时保持了黄色和 BertS 得分。
abstractive summarization modelshallucinationmodel uncertaintydecoding strategyxsum dataset
发现论文，激发创造
  • 使用领域条件互信息缓解抽象摘要中的虚构现象

    通过基于领域条件点间互信息（domain-conditional pointwise mutual information）的解码策略，本研究解决了抽象摘要中存在的幻觉问题（hallucination）以及模型偏差（model bias），相比其他方法在 XSUM 数据集上显示了在忠实度（faithfulness）和源相关性（source relevance）方面的改进。

    Apr, 2024

  • 长文本摘要中的幻觉减少

    减少幻觉的输出或概括长文本文档摘要的幻觉是本论文的目标。通过在 Longformer Encoder-Decoder (LED) 模型的微调中结合数据过滤和联合实体与摘要生成（JAENS）技术，我们使用 PubMed 数据集来改善产生的摘要质量，并测量了实体级别的事实一致性。实验结果显示，经过微调的 LED 模型在生成论文摘要方面表现良好，基于一些预处理步骤的数据过滤技术能够减少生成摘要中的实体级别幻觉，从而提高了事实一致性指标。

    Sep, 2023

  • 论抽象化摘要中的忠实度与客观性

    分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

    May, 2020

  • 遵从文档还是现实世界？通过实体链接的知识在抽象摘要中减轻幻觉

    使用外部世界知识来提高文摘的 “忠实度” 能够有效避免内容失真的问题，并且外部知识库可以提高摘要的准确性。

    Apr, 2022

  • 减少抽象总结中的数量幻觉

    该文介绍了一种避免概括性摘要中产生的虚假信息的方法，通过学习识别和验证摘要中的数量实体，使得被验证支持的摘要得到提升，这种方法得到人们的好评。

    Sep, 2020

  • 不要完全相信所读之事：通过对大型语言模型中幻觉的自动识别来增强摘要解释性

    这篇论文通过深入探讨大型语言模型在幻觉方面的行为，定义了一种基于标记的方法以识别不同类型的幻觉，并进一步利用这种标记方法提高对话摘要任务中语言模型的可解释性和忠实度，同时提出了一个新的改进数据集和训练范式。

    Dec, 2023

  • 检测和缓解机器翻译中的幻觉：仅基于模型内部工作表现良好，基于句子相似度的方法表现更佳

    提出了一种通过评估翻译中源语言贡献百分比的方法，以解决神经机器翻译中出现的幻觉问题，并发现使用跨语言嵌入的句子相似性有助于提高检测精度。

    Dec, 2022

  • 分解验证：检测和减少学术论文摘要中的虚假信息

    通过 Factored Verification 方法检测模糊摘要中的幻觉，并评估了其在 HaluEval 基准测试中的状况，结果表明其在幻觉检测方面达到了 76.2% 的准确度。我们使用该方法估计模型在多篇学术论文摘要中产生幻觉的频率，结果显示 ChatGPT (16k) 平均摘要中有 0.62 个幻觉，GPT-4 为 0.84，而 Claude 2 则为 1.55。我们要求模型使用 Factored Critiques 进行自我纠正，结果发现幻觉数量分别下降到了 ChatGPT 的 0.49，GPT-4 的 0.46，以及 Claude 2 的 0.95。由于我们发现的幻觉往往是微妙的，因此在使用模型合成学术论文时需要谨慎。

    Oct, 2023

  • 幻觉但真实！审视抽象概括中幻觉真实性

    该研究提出了一种新的检测方法，可以将实体的幻觉从非实体的幻觉中区分出来，该检测方法使用预训练的和微调的掩码语言模型，可作为离线强化学习算法中的奖励信号，极大地提高了摘要的事实性，同时保持了其抽象水平。

    Aug, 2021

  • 不知道的不要说：通过约束束搜索提升概括性摘要的一致性

    本研究分析了抽象摘要系统中的幻觉现象，发现是因为模型使用不受原文支持的目标摘要进行训练。基于这一发现，提出了 PINOCCHIO 新解码方法来提高 Transformer-based 抽象摘要器的一致性，并在实验中表现良好。

    Mar, 2022