Dec, 2022

无监督摘要重新排名

PDF
TL;DR本文提出一种无监督的方法，对摘要生成的可选方案进行重新排名，以缩小无监督和有监督模型之间的性能差距。与四个广泛采用的摘要基准相比，该方法将预训练的无监督 PEGASUS 的相关平均 ROUGE 增加了 4.37% 至 7.27%，并在 30 个转移设置中实现了 7.51% 的相对增益（高达 23.73%）。
abstractive summarization modelsunsupervised modelspre-training objectivessummary candidatesre-rank
发现论文，激发创造
  • 使用提取的间隔句子进行摘要式预训练的 PEGASUS

    该研究提出了一种新的自监督目标，将重要的句子从输入文档中删除 / 掩盖，并从剩余的句子中生成一个输出序列，类似于抽取式摘要，PEGASUS 模型在 12 个文本摘要任务中均取得了最先进的 ROUGE 得分，并在只有 1000 个样例的 6 个数据集上超越了先前的最先进结果，同时在人类评估方面也取得了良好表现。

    Dec, 2019

  • SummaReranker：一个多任务专家混合再排序框架用于抽象摘要

    该研究使用深度学习模型进行文本自动摘要，通过重新排序生成的摘要，显著提高了 ROUGE 1 得分。

    Mar, 2022

  • FactPEGASUS: 面向摘要生成的事实感知预训练与微调

    FactPEGASUS 是一种解决事实准确性问题的抽象摘要模型，它在预训练和微调期间增加了关于事实的数据，通过三个组成部分的微调完成，其实现了从基准中提取事实并不断改进事实准确性。

    May, 2022

  • 走向摘要候选项融合

    使用 SummaFusion 作为第二阶段抽象化摘要的方法，可以融合多个摘要候选人，达到更好的摘要效果。

    Oct, 2022

  • 从搜索中学习非自回归模型用于无监督句子摘要

    该文提出了一种名为 NAUS 的非自回归无监督摘要方法，使用基于编辑的搜索生成伪基准摘要，并在此基础上训练一个仅含编码器的非自回归 Transformer，通过动态规划方法进行长度控制解码，实现了在无监督摘要中取得最新的性能提升，同时提高了推理效率。

    May, 2022

  • 探究有效扩展 Transformer 用于长输入摘要

    本文研究了使用预训练 Transformer 模型进行长输入摘要所面临的挑战，并通过实验提出了一种新的模型 PEGASUS-X，在不需要并行训练和添加很多参数的情况下，能够高效地处理长度超过常规预训练模型最大输入长度的输入，并在长输入摘要任务中达到了比较强的性能表现。

    Aug, 2022

  • 长篇科学文档的基于话语的无监督摘要

    本文提出了一种基于无监督的基于图的排名模型，用于提取科学文献的摘要。我们的方法假定源文档采用两级分层图表示，并利用不对称的位置提示来确定句子的重要性。在 PubMed 和 arXiv 数据集上的结果表明，我们的方法在自动指标和人工评价方面优于强无监督基线。此外，其性能与许多基于监督学习的方法相当。这些结果表明，篇章结构中的模式是确定科学文章重要性的强有力信号。

    May, 2020

  • 利用预训练的层次 Transformer 进行无监督抽取式摘要

    本文提出了一种使用 transformer 自注意力机制进行无监督文本摘要提取的方法，并在 CNN / DailyMail 和 New York Times 数据集上证明其优于现有的无监督模型，且不太依赖于句子位置。

    Oct, 2020

  • SUPERT：面向多文档摘要的无监督评估指标的新领域

    该研究提供了一种新的评价未经监督的多文档摘要技术的方法，使用上下文化嵌入和软标记对齐技术对其语义相似性进行评估，并提出了一个可用于引导深度学习模型的奖励函数，其在性能上优于现有的未监督摘要模型。

    May, 2020

  • 从排行榜到实践的摘要生成：选择一种表示方法的骨干和确保稳健性

    本研究分析了现有研究组件以选择系统骨干，发现 BART 比 PEGASUS 和 T5 表现更好；跨域总结器的表现要差得多，而在异构领域进行微调的系统在所有领域上表现良好。该研究强调了对异构领域摘要基准的重要性。系统输出存在相当大的差异，只有人工评估才能捕捉到，因此不太可能反映在只有自动评估的标准排行榜中。

    Jun, 2023