ACLMar, 2022

BRIO：让抽象化摘要更有序

PDF
TL;DR提出了一种新的非确定性分布训练方法，通过根据其质量分配概率质量到不同的候选摘要，从而解决确定性分布训练方法在推断时导致的性能下降问题， 在 CNN/DailyMail 和 XSum 数据集上均取得了优于现有方法的最优结果，并且与质量水平更相关的评估摘要的概率评估。
abstractive summarizationmaximum likelihood estimationtraining paradigmcandidate summariesquality
发现论文，激发创造
  • 利用 BRIO 训练范式进行抽象文本摘要

    本文提出了一种简单但有效的技术，通过微调预先训练的语言模型并使用 BRIO 范例进行训练，以改进抽象摘要。我们在越南文上构建了一个文本摘要数据集，称为 VieSum，并使用 BRIO 范例在 CNNDM 和 VieSum 数据集上进行了实验。结果显示，这些模型在基本硬件上训练得到了提高，比所有现有的抽象摘要模型表现更好，尤其是对于越南文。

    May, 2023

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 可控抽象摘要

    本文提出了一种神经摘要模型，能够通过简单而有效的机制实现用户对文本长度、风格、感兴趣的实体等高级属性的控制，以生成符合用户需求的高质量摘要，并在 CNN-Dailymail 数据集上优于现有的自动化系统和人工评价。

    Nov, 2017

  • 在抽象摘要中平衡词汇和语义质量

    本文针对序列到序列的神经网络中常见的曝光偏差问题，提出了一种在词法和语义质量之间平衡的重排序方法，并以 BERTScore 为衡量标准，在 CNN/DailyMail 数据集上实现了新的最优表现。

    May, 2023

  • SummaReranker：一个多任务专家混合再排序框架用于抽象摘要

    该研究使用深度学习模型进行文本自动摘要，通过重新排序生成的摘要，显著提高了 ROUGE 1 得分。

    Mar, 2022

  • 抽象摘要中的句子重写的摘要级别训练

    本文通过使用句子重写模型，采用先提取常规句子，后对所选句子进行释义来生成摘要的策略，提出了一种通过强化学习直接最大化摘要级别 ROUGE 得分的新型训练信号，并在 CNN / Daily Mail 和纽约时报数据集上展示了新的最先进表现。在整个实验中，我们还演示了它在 DUC-2002 测试集上的普遍适用性。

    Sep, 2019

  • 在摘要模型中调整似然函数以求得一致性

    通过校准概率与自然语言推理模型一致性得分之间的关系，我们提出了一种改进抽象文本摘要模型的方法，该方法确保所生成的摘要更加一致且质量更高。

    Oct, 2023

  • 一种新的从容提取摘要的方法

    本研究提出一种新方法，通过生成多个变体的目标摘要，这些摘要具有不同的内容和不同的长度，并根据用户的需要进行评分和选择，该方法可用于控制摘要长度，从而实现最佳的信息概括，保证真实性并确保流畅。

    Apr, 2021

  • 走向摘要候选项融合

    使用 SummaFusion 作为第二阶段抽象化摘要的方法，可以融合多个摘要候选人，达到更好的摘要效果。

    Oct, 2022

  • 自下而上的抽象摘要

    本文提出了一种简单的方法来解决神经网络摘要方法中存在的内容选择问题：使用数据有效的内容选择器来过度确定应该作为摘要的来源文档中的短语，通过作为自底向上的注意步骤来约束模型以生成更简洁而流畅的摘要。该方法比其他端到端内容选择模型更简单且性能更高，在 CNN-DM 和 NYT 语料库中表现出显著的 ROUGE 值提高。此外，内容选择器只需要训练 1000 个句子就可以使摘要器轻松地进行领域转移。

    Aug, 2018