EMNLPSep, 2021

通过数据综合，增强和课程来缓解抽象摘要中的数据匮乏

PDF
TL;DR通过数据合成、数据增强、课程学习等方法，不需要额外的数据，即可改善抽象摘要模型的性能。研究表明，采用这三种方法可以在两个摘要模型和两个不同的小数据集上改善抽象摘要。此外，当分别应用和组合使用这些技术时，它们都可以提高性能。
data manipulationabstractive summarizationdata synthesisdata augmentationcurriculum learning
发现论文，激发创造
  • 反事实数据增强改进抽象摘要的真实性

    该文章介绍了一种基于对抗数据增广的方法，用于提高 Abstractive summarization system 的 factual correctness, 相关方法包括将同一或不同类别的实体或名词的 WordNet hypernyms 进行替换，实验证明，使用我们的方法对 CNN/Dailymail 和 XSum 等数据集进行训练，可将 factual correctness 平均提高约 2.5 个点。

    May, 2022

  • 使用领域转移和数据合成的低资源数据抽象摘要

    该论文通过域转移和数据综合的方法，研究了当应用于学生反思材料等小型文集时，如何提高最近的抽象摘要方法的性能，得到了更高的 ROUGE 分数。

    Feb, 2020

  • 基于摘要生成的数据增强方法用于文档分类

    通过使用 SUMMaug，一种简单但有效的基于摘要的数据增强方法，我们能够解决预训练语言模型在理解长文本（如文档）时遇到的数据稀疏问题，并在文档分类任务中取得了稳健性和准确性上的优势。

    Dec, 2023

  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023

  • 抽象的面向查询的多文档摘要生成的数据增强

    该研究介绍了两个 QMDS 训练数据集，这些数据集具有互补的性质并使用新的层次编码器建立了基于端的神经网络模型，这些模型不仅在自动度量上表现出了优异的结果，而且在人类评估中也表现出了优异的结果。

    Mar, 2021

  • 基于课程的思维健康在线帖子抽象摘要

    本研究旨在通过采用课程学习方法，结合基于 Transformers 模型的自动生成摘要技术，从 Reddit 社交媒体上的心理健康相关帖子中提取性问题，从而提高医生的阅读效率和准确性，为人们提供更及时有效的心理卫生服务。相较于目前已有的模型，本方法在 Rouge 和 Bertscore 评估指标上分别有显著的相对改进。

    Feb, 2023

  • 利用摘要构建对比样本，用于有限标注的文本分类

    本文研究了如何使用基于文本总结的数据扩增方法来构建语言任务的对比样本，从而通过有限的标注数据提高文本表示效果，并配合 Mixsum 正则化方法，实验结果显示所提出的对比学习框架在真实世界的文本分类数据集上表现出很好的效果。

    Apr, 2021

  • 低资源抽象化摘要元转移学习

    本文提出了一种方法，利用大型预训练模型和多样的现有语料库，解决低资源抽象摘要化问题，在各种写作风格和形式的摘要语料库上实验证明，我们的方法仅使用 0.7％的可训练参数与以前的工作相比，在低资源情况下实现了 6 个语料库的最新技术水平。

    Feb, 2021

  • 基于内容规划的无监督意见摘要

    本文探讨深度学习在抽象性概括方面的成功，以及因评论摘要的训练数据不易获取而引发对依赖人工制作的方法的发展，提出通过采用内容计划的概念在评论摘要既可以获得更高质量的结果，也可以生成自然且更接近于真实世界的摘要 - 评论数据集。

    Dec, 2020

  • 使用双重增益提高摘要系统的鲁棒性

    本文旨在研究文本摘要模型对词级同义替换和噪声的鲁棒性，发现模型鲁棒性不足。为提高模型的鲁棒性，提出用语言模型生成对抗样本并在输入空间内使用这些样本多样化原始数据，同时在隐藏空间内进行流形混合操作以引入更多的编码器编码输出。测试结果表明，该方法得到了有效的改进。

    Jun, 2023