Mar, 2022

不知道的不要说：通过约束束搜索提升概括性摘要的一致性

PDF
TL;DR本研究分析了抽象摘要系统中的幻觉现象，发现是因为模型使用不受原文支持的目标摘要进行训练。基于这一发现，提出了 PINOCCHIO 新解码方法来提高 Transformer-based 抽象摘要器的一致性，并在实验中表现良好。
abstractive summarizationhallucinationspinocchiotransformer-basedconsistency
发现论文，激发创造
  • 互信息在抽象摘要中减轻幻觉

    本文发现了一个简单的标准 —— 模型不确定性高 —— 会导致生成更多的错误内容（即幻觉），并提出了一种解码策略，该策略在存在不确定性时优化源和目标单词的点间互信息，从而减少幻觉的出现，并在 XSum 数据集上进行了实验证明，该方法降低了幻觉的概率，同时保持了黄色和 BertS 得分。

    Oct, 2022

  • 纠正和回溯法减少总结中的幻觉

    通过使用 CoBa 技术，该论文提出了一种简单而有效的技术来减少抽象摘要中的幻觉现象，该方法通过测量有关条件概率和上下文词之间距离的简单统计数据来实现幻觉检测和缓解。

    Oct, 2023

  • 论抽象化摘要中的忠实度与客观性

    分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

    May, 2020

  • 长文本摘要中的幻觉减少

    减少幻觉的输出或概括长文本文档摘要的幻觉是本论文的目标。通过在 Longformer Encoder-Decoder (LED) 模型的微调中结合数据过滤和联合实体与摘要生成（JAENS）技术，我们使用 PubMed 数据集来改善产生的摘要质量，并测量了实体级别的事实一致性。实验结果显示，经过微调的 LED 模型在生成论文摘要方面表现良好，基于一些预处理步骤的数据过滤技术能够减少生成摘要中的实体级别幻觉，从而提高了事实一致性指标。

    Sep, 2023

  • 抽象摘要中幻觉缓解的改进束搜索

    本研究旨在探讨如何在摘要生成过程中应用自然语言推理来检测和预防虚假信息，通过使用一个 NLI 辅助的 beam​排序机制，从而大幅提高基于 XSum 与 CNN/DM 数据集的摘要生成效果。

    Dec, 2022

  • 幻觉但真实！审视抽象概括中幻觉真实性

    该研究提出了一种新的检测方法，可以将实体的幻觉从非实体的幻觉中区分出来，该检测方法使用预训练的和微调的掩码语言模型，可作为离线强化学习算法中的奖励信号，极大地提高了摘要的事实性，同时保持了其抽象水平。

    Aug, 2021

  • 减少抽象总结中的数量幻觉

    该文介绍了一种避免概括性摘要中产生的虚假信息的方法，通过学习识别和验证摘要中的数量实体，使得被验证支持的摘要得到提升，这种方法得到人们的好评。

    Sep, 2020

  • 通过对比候选生成和选择提高抽象摘要的忠实度

    通过对替身候选生成和选择的研究，我们提出了一个模型无关的后处理技术来修正当前神经抽象摘要生成模型中常见的不忠于原始内容的摘要幻觉现象，我们学习了一个判别式修正模型并证明，通过替代抽象式中的具名实体和数量标识来代替同源文本中语义相似类型的实体可以有效识别和修正这些不符合原文本实质的幻觉，希望此方法可以为未来的神经抽象摘要生成方向的研究提供新的思路。

    Apr, 2021

  • 遵从文档还是现实世界？通过实体链接的知识在抽象摘要中减轻幻觉

    使用外部世界知识来提高文摘的 “忠实度” 能够有效避免内容失真的问题，并且外部知识库可以提高摘要的准确性。

    Apr, 2022

  • 使用领域条件互信息缓解抽象摘要中的虚构现象

    通过基于领域条件点间互信息（domain-conditional pointwise mutual information）的解码策略，本研究解决了抽象摘要中存在的幻觉问题（hallucination）以及模型偏差（model bias），相比其他方法在 XSUM 数据集上显示了在忠实度（faithfulness）和源相关性（source relevance）方面的改进。

    Apr, 2024