ACLJun, 2021

SimCLS: 简单的对比学习摘要生成框架

PDF
TL;DR本文提出了一个概念简单但实践强大的抽象摘要框架 SimCLS，通过将文本生成任务转化为无参考质量估计问题（即质量评估），辅之以对比学习，能够弥合目前主导的序列到序列学习框架的学习目标与评估度量之间的差距。实验结果表明，SimCLS 可以在对现有最高分系统进行轻微修改的情况下，大幅改善其性能。在 CNN/DailyMail 数据集上，相对于 BART 的 ROUGE-1 取得了 2.51 的绝对改进和相对于 PEGASUS 的 2.50 的绝对改进，将最新的性能推向了一个新水平。我们已开源我们的代码和结果。同时，我们提出的模型已被部署到 ExplainaBoard 平台上，允许研究人员更细致地了解我们的系统。
abstractive summarizationsimclscontrastive learningtext generationcnn/dailymail dataset
发现论文，激发创造
  • CLIFF: 用对比学习提高摘要的忠实度和事实性

    通过对比学习和负样本生成，提出一个能够生成与给定文章相符的抽象摘要的方法，并使用 QA 验证和人类评判证明其能够更准确地反映事实。

    Sep, 2021

  • COLO：一种基于对比学习的单阶段摘要重新排序框架

    本文提出了一种基于对比学习的重新排序框架 COLO，它可以直接根据摘要级别的分数生成摘要，从而提高 CNN/DailyMail 基准的提取和抽象一阶段系统的结果，并保留参数效率和推断效率。

    Sep, 2022

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 文本摘要的序列级对比学习

    本文提出了一种对比学习模型，用于文本摘要的有监督抽象，通过将文档、其黄金摘要和模型生成的摘要视为同一平均表示的不同视图，并在训练过程中最大化它们之间的相似性，从而改进了强序列到序列的文本生成模型（即 BART）。人类评估也显示，我们的模型与没有对比目标的对应模型相比，实现了更好的忠实度评分。

    Sep, 2021

  • NCLS: 神经跨语言摘要

    通过多任务学习、循环翻译等方法，构建神经网络模型用于实现跨语言文本摘要，实验结果证明该模型较传统模型有显著提升。

    Aug, 2019

  • 一种加强主题感知的卷积序列到序列模型用于抽象文本摘要

    本文提出了一种深度学习方法来解决自动摘要任务，通过将主题信息结合到卷积序列到序列 (ConvS2S) 模型中，并使用自举式非监督序列训练 (SCST) 进行优化。通过联合关注主题和单词级别对齐，我们的方法可以通过有偏的概率生成机制改善生成摘要的一致性、多样性和信息量。与 SCST 类似的强化训练直接根据不可微度量 ROUGE 优化所提出的模型，在推理期间也避免了曝光偏差。我们在 Gigaword、DUC-2004 和 LCSTS 数据集上对最先进的方法进行了实验评估。实证结果证明了我们所提出的抽象摘要方法的优越性。

    May, 2018

  • ClueGraphSum: 让关键线索指导跨语言概括式摘要

    该研究提出了一种线索引导的跨语言自动摘要方法来提高自动生成摘要的质量，并针对手写数据进行了实验评估，取得了较好的结果。

    Mar, 2022

  • 跨语言摘要的混合语言预训练

    使用混合语言预训练的交叉语言文摘模型，在没有任务特定组件的情况下利用单语数据提高语言建模的效果，实现了高效的跨语言文摘。在 Neural Cross-Lingual Summarization 数据集中，我们的模型在英汉和汉英模式下相比现有技术，分别实现了 2.82 和 1.15 ROUGE-1 分数的提升。

    Oct, 2020

  • 通过对比学习无监督无参考摘要质量评估

    本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。

    Oct, 2020

  • 长文档跨语言摘要

    本文介绍了长文档跨语言摘要的研究现状，并构建了 Perseus 数据集，评估了不同的从结构和端到端方案，结果表明端到端方案卓越地胜过利用复杂机器翻译系统配备的管道模型。

    Dec, 2022