ACLJul, 2022

通过实体覆盖控制提高抽象摘要的忠实度

PDF
TL;DR本文提出了一种使用 “实体覆盖控制（Entity Coverage Control，ECC）” 方法来解决预训练语言模型产生的 “幻觉（hallucinate）” 现象的方案，该方法不仅更好地保持了上下文的内容准确性，而且在使用大量噪声数据进行中间优调（intermediate fine-tuning）时，还可以解决无需监督的情况下的提要抽象生成（zero-shot summarization）问题，并证明了该方法在三个不同领域和风格的基准数据集上比其他方法更为有效和鲜明。
abstractive summarizationpre-training language modelsentity coverage controlfaithfulnesszero-shot summarization
发现论文，激发创造
  • 抽象文本摘要的实体级事实一致性

    提出了一种新的度量生成摘要与原文事实一致性的方法，并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外，还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法，并在实体层面的指标上得到了进一步的改进。

    Feb, 2021

  • 遵从文档还是现实世界？通过实体链接的知识在抽象摘要中减轻幻觉

    使用外部世界知识来提高文摘的 “忠实度” 能够有效避免内容失真的问题，并且外部知识库可以提高摘要的准确性。

    Apr, 2022

  • 通过对比候选生成和选择提高抽象摘要的忠实度

    通过对替身候选生成和选择的研究，我们提出了一个模型无关的后处理技术来修正当前神经抽象摘要生成模型中常见的不忠于原始内容的摘要幻觉现象，我们学习了一个判别式修正模型并证明，通过替代抽象式中的具名实体和数量标识来代替同源文本中语义相似类型的实体可以有效识别和修正这些不符合原文本实质的幻觉，希望此方法可以为未来的神经抽象摘要生成方向的研究提供新的思路。

    Apr, 2021

  • 论抽象化摘要中的忠实度与客观性

    分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

    May, 2020

  • 提高抽象化摘要中的忠实性

    本研究提出了 Faithfulness Enhanced Summarization (FES) 模型，该模型使用 question-answering (QA) 技术检查 encoder 是否完全理解输入文档，并回答关键信息的问题，并引入 max-margin loss 来防止语言模型的过度自信。实验表明，我们的模型在两个基准摘要数据集 CNN/DM 和 XSum 上显著优于强对比模型，并生成比对比模型更符合事实的摘要。

    Oct, 2022

  • 通过实体检索进行抽象摘要的事实错误矫正

    本文提出了一种基于实体检索的高效事实错误纠正系统 RFEC，通过检索证据句子来缩短系统分析的文本长度，从而检测摘要中的实体级别错误并替换错误的实体，实验证明我们提出的错误纠正系统比基线方法具有更具竞争力的性能和更快的速度。

    Apr, 2022

  • 提高抽象摘要的事实性而不牺牲摘要质量

    本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术，旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量，训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。

    May, 2023

  • 生物医学文献的面向实体和事实的抽象摘要生成

    本文提出了一种基于实体驱动事实感知的框架，用于训练端到端的基于 Transformer 的编码 - 解码模型以摘要生物医学文章。在使用知识库中的命名实体和事实进行指导的情况下，EFAS 能够实现比标准源文档到摘要设置更准确的实体级事实准确性、N-gram 新颖性和语义等价性，而 ROUGE 指标的表现相当。

    Mar, 2022

  • 从实体中心视角探索开放领域表格生成的忠实度

    本文旨在评估表格生成的忠实度，并采用两个与实体相关的度量标准来评估生成忠实度，并基于这些数据提出了两种增强训练方法和训练实例选择方法来提高生成保真度，在完整数据集和少量数据集学习中均有所改善。

    Feb, 2021

  • 基于微调的抽象摘要模型的实体级事实可适应性

    通过分析对知识冲突的鲁棒性，本文研究了基于微调的抽象概括模型，发现并引入了一种可控的反事实数据增广方法来增强事实适应性，并在两种预训练语言模型（PEGASUS 和 BART）以及两个微调数据集（XSum 和 CNN/DailyMail）上实验证明，该方法在实现原始数据集上的事实一致性的同时提高了事实适应性。

    Feb, 2024