EMNLPNov, 2022

FRSUM：提高事实鲁棒性以实现忠实的抽象摘要

PDF
TL;DR本文从事 Seq2Seq 模型中摘要不忠实的问题，并从事实鲁棒性的角度对现有系统的忠实度进行研究。针对当前存在的问题，作者提出了一种名为 FRSUM 的新的训练策略，能够在生成文本时防御显式和隐式的对抗信息，从而提高 Seq2Seq 模型的忠实度
seq2seqsummarization modelsfactual robustnessadversarial attackstraining strategy
发现论文，激发创造
  • 提高抽象化摘要中的忠实性

    本研究提出了 Faithfulness Enhanced Summarization (FES) 模型，该模型使用 question-answering (QA) 技术检查 encoder 是否完全理解输入文档，并回答关键信息的问题，并引入 max-margin loss 来防止语言模型的过度自信。实验表明，我们的模型在两个基准摘要数据集 CNN/DM 和 XSum 上显著优于强对比模型，并生成比对比模型更符合事实的摘要。

    Oct, 2022

  • 忠于原始：事实感知的神经网络抽象摘要

    提出了一种基于句法和信息提取的双重注意序列到序列框架，该框架旨在解决抽象汇总中存在的虚假事实问题，并使生成的汇总同时具有信息丰富性和语义准确性。

    Nov, 2017

  • FaMeSumm：医学摘要准确性的研究与改进

    我们研究了医学文本概述的忠实性，发现当前的概述模型常常会产生不忠实的输出，因此我们引入了 FAMESUMM 框架来改进忠实性，并通过对医学知识进行预训练模型微调，使用对比学习的方式提高医学术语的忠实生成，实验结果和医生的人工评估都证明了 FAMESUMM 在忠实性和总体质量的指标上具有优越性。

    Nov, 2023

  • 论抽象化摘要中的忠实度与客观性

    分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

    May, 2020

  • 提高抽象摘要的事实性而不牺牲摘要质量

    本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术，旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量，训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。

    May, 2023

  • 提高抽象摘要的事实一致性

    文章提出了一种基于事实感知的自动摘要模型 FASum，通过图注意力来提取和整合摘要生成过程中的事实关系，并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明，基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要，并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。

    Mar, 2020

  • 基于微调的抽象摘要模型的实体级事实可适应性

    通过分析对知识冲突的鲁棒性，本文研究了基于微调的抽象概括模型，发现并引入了一种可控的反事实数据增广方法来增强事实适应性，并在两种预训练语言模型（PEGASUS 和 BART）以及两个微调数据集（XSum 和 CNN/DailyMail）上实验证明，该方法在实现原始数据集上的事实一致性的同时提高了事实适应性。

    Feb, 2024

  • 精准至点：针对忠实和丰富的文本生成的敌对性增强

    本文针对预训练 Seq2Seq 模型的鲁棒性问题，提出了一种新的针对 Seq2Seq 模型提高准确性和信息性的敌对增强框架 ——AdvSeq，通过隐式敌对样本和交换敌对样本来提高 Seq2Seq 模型的鲁棒性，实验结果表明 AdvSeq 显著提高了 Seq2Seq 生成的可信度和信息性。

    Oct, 2022

  • 使用 FRANK 来理解抽象摘要中的事实性：一个事实度量的基准

    该研究在 CNN/DM 和 XSum 数据集上使用类型学来收集各种摘要模型的生成摘要的人类注释，并使用它来识别各种类别的事实错误的比例，并基准事实度度量标准，显示它们与人类判断的相关性以及它们的特定优点和缺点

    Apr, 2021

  • 抽象文本摘要中的事实不一致问题：一项调查

    研究表明，使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要，但是由于摘要的抽象性较高，导致文章中存在失真和伪造的问题，因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方法和文本摘要模型。

    Apr, 2021