Feb, 2022

抽象化摘要生成中的可微 N-gram 目标

PDF
TL;DR本文提出了可微的 n-gram 目标，旨在缓解训练标准和评估标准之间的差异，该目标最大化匹配子序列的概率权重，在 CNN/DM 和 XSum 的抽象摘要数据集上提供了相当的 ROUGE 分数提高，该方法优于其他 n-gram 目标
发现论文，激发创造
  • 基于词级抽取的无监督句子摘要的离散优化

    该研究提出了一种无监督的自动句子摘要方法，通过语言建模和语义相似度指标来优化摘要质量，从而在 ROUGE 分数方面达到了新的最高水平，同时强调未来的评估应该按输出长度分组。

    May, 2020

  • 一种简单的对比学习目标，以缓解神经文本退化

    我们提出了对比记号学习目标，它继承了交叉熵和不可能性训练的优点，同时避免了它们的局限性，通过在语言建模和开放域对话生成任务中的全面实验，我们发现所提出的对比记号目标可以使生成的文本重复性减少，提高了生成质量，达到了文本退化的最新性能水平。

    May, 2022

  • 在抽象摘要中平衡词汇和语义质量

    本文针对序列到序列的神经网络中常见的曝光偏差问题，提出了一种在词法和语义质量之间平衡的重排序方法，并以 BERTScore 为衡量标准，在 CNN/DailyMail 数据集上实现了新的最优表现。

    May, 2023

  • BRIO：让抽象化摘要更有序

    提出了一种新的非确定性分布训练方法，通过根据其质量分配概率质量到不同的候选摘要，从而解决确定性分布训练方法在推断时导致的性能下降问题， 在 CNN/DailyMail 和 XSum 数据集上均取得了优于现有方法的最优结果，并且与质量水平更相关的评估摘要的概率评估。

    Mar, 2022

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 答案联合！增强摘要模型的无监督度量

    使用强化学习的抽象化概括方法已经被提出来克服传统极大似然估计的限制，提出了一些使用问题回答作为替代评价指标的模型，并在人工和自动评价指标上取得了较大的提升。

    Sep, 2019

  • RewardsOfSum: 探索用于摘要生成的强化学习奖励

    该研究提出了两种用于抽象摘要任务的奖励函数：RwB-Hinge 和 RISK。实验结果表明，这些函数在以 NLL 为基线的基础上实现了一致的性能提升。

    Jun, 2021

  • 通过对比学习无监督无参考摘要质量评估

    本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。

    Oct, 2020

  • 深度强化学习结合分布式语义奖励的抽象摘要生成

    本研究论文使用分布式语义学方法，提出了一种新的奖励制度 DSR (Distributional Semantics Reward)，用于评估候选摘要的性能，与传统的奖励模式相比，DSR 可以更准确地捕捉自然语言的词汇和构成多样性。

    Aug, 2019

  • 指针生成网络：更抽象的摘要生成

    该研究提出了一种基于多头注意力机制、指针 dropout 和新的损失函数的方法，用于促进摘要的提取，同时保持类似 ROUGE 分数，实现了相对较高的新颖 N-gram 和句子生成率。

    Apr, 2019