May, 2022

反事实数据增强改进抽象摘要的真实性

PDF
TL;DR该文章介绍了一种基于对抗数据增广的方法，用于提高 Abstractive summarization system 的 factual correctness, 相关方法包括将同一或不同类别的实体或名词的 WordNet hypernyms 进行替换，实验证明，使用我们的方法对 CNN/Dailymail 和 XSum 等数据集进行训练，可将 factual correctness 平均提高约 2.5 个点。
发现论文，激发创造
  • 提高抽象摘要的事实性而不牺牲摘要质量

    本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术，旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量，训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。

    May, 2023

  • 探究自动生成的反事实数据在情感分析中的有效性

    提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

    Jun, 2021

  • 反事实增强的 SNLI 训练数据不比未增强的数据具有更好的泛化性能

    本研究发现，通过常规众包技术建立的反事实数据增强自然语言阅读理解数据集，不利于训练模型的泛化性和鲁棒性，并且在成本考虑上使用此种方法带来的收益很少。

    Oct, 2020

  • 神经逆向生成：更为丰富的数据增强方法

    本文提出了 NeuroCounterfactuals 方法，通过松散的对比事实产生更大规模的编辑，从而使得生成的文本包含语言多样性，同时与原始文档相似，使得训练数据增强在情感分类方面取得了良好的效果。

    Oct, 2022

  • 通过后期编辑和语言模型填充纠正抽象摘要中的多样化事实错误

    本文提出使用语言模型生产更加具有代表性的无事实描述样例，训练出更加强大和鲁棒的基于事实更正的模型对生成的摘要进行错误更正提高摘要的事实一致性。

    Oct, 2022

  • 基于微调的抽象摘要模型的实体级事实可适应性

    通过分析对知识冲突的鲁棒性，本文研究了基于微调的抽象概括模型，发现并引入了一种可控的反事实数据增广方法来增强事实适应性，并在两种预训练语言模型（PEGASUS 和 BART）以及两个微调数据集（XSum 和 CNN/DailyMail）上实验证明，该方法在实现原始数据集上的事实一致性的同时提高了事实适应性。

    Feb, 2024

  • 通过数据综合，增强和课程来缓解抽象摘要中的数据匮乏

    通过数据合成、数据增强、课程学习等方法，不需要额外的数据，即可改善抽象摘要模型的性能。研究表明，采用这三种方法可以在两个摘要模型和两个不同的小数据集上改善抽象摘要。此外，当分别应用和组合使用这些技术时，它们都可以提高性能。

    Sep, 2021

  • 提高抽象摘要的事实一致性

    文章提出了一种基于事实感知的自动摘要模型 FASum，通过图注意力来提取和整合摘要生成过程中的事实关系，并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明，基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要，并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。

    Mar, 2020

  • 抽象文本摘要的多因素校正

    本论文提出了一种名为 Span-Fact 的技术，通过单一或多重遮盖策略，利用问题解答模型从系统生成的摘要中选择语义上一致且保留形式结构的实体，从而提高了系统生成的摘要的事实一致性和质量。

    Oct, 2020

  • 摘要生成模型的事实错误更正

    本研究提出了一种后处理校正模块来解决神经抽象汇总系统的事实一致性问题，该模块采用预训练的神经校正模型，能够识别和修正所生成的摘要中的事实错误，并在 CNN / DailyMail 数据集上表现出比先前模型更好的事实一致性的评估结果。

    Oct, 2020