AAAIDec, 2023

可学习的长度控制策略的无监督抽取式摘要

PDF
TL;DR一种基于孪生网络的无监督抽取式摘要模型，引入了可训练的双向预测目标，在选定的摘要和原始文档之间进行训练。与基于中心性排名的方法不同，我们的抽取式评分器可以进行端到端训练，无需位置假设。此外，我们通过近似 0-1 背包问题求解器引入了一个可微分的长度控制模块，用于端到端可控制长度的抽取。实验证明，相同的句子编码器下，我们的无监督方法在很大程度上优于基于中心性排名的基准方法。在长度控制能力方面，通过我们可训练的背包模块，性能始终优于强基准方法，而无需进行端到端训练。人工评估进一步证明，我们的方法在相关性和一致性方面优于基准方法。
unsupervised extractive summarizationsiamese networkend-to-end traininglength-controllable extractorcentrality-based ranking
发现论文，激发创造
  • 利用预训练的层次 Transformer 进行无监督抽取式摘要

    本文提出了一种使用 transformer 自注意力机制进行无监督文本摘要提取的方法，并在 CNN / DailyMail 和 New York Times 数据集上证明其优于现有的无监督模型，且不太依赖于句子位置。

    Oct, 2020

  • 通过摘要原型引导的长度可控抽象摘要

    本文提出了一种新的长度可控的抽象汇总模型，与以往仅根据编码器 - 解码器模型生成一篇总结不同，我们的模型在编码器 - 解码器模型中结合了单词级别的抽取模块，通过提取重要的词来控制长度，生成了一个同时具有信息和长度控制的汇总。

    Jan, 2020

  • 基于强化学习的无监督句子自动摘要系统生成多种长度的摘要

    本篇论文提出了一种基于强化学习的抽象模型，用于无人工摘要的句子摘要，同时还开发了一种多摘要机制来提高摘要质量。实验结果表明，该模型明显优于抽象和提取式模型，经常生成未包含在原始文本中的新单词。

    Dec, 2022

  • 无监督抽取式摘要中句子相似度估计的改进

    研究了两种新策略以提高自动抽取摘要的句子相似度估计，其中对比学习优化了文本级目标，同时使用互相学习增强句子相似度估计与句子重要性排名之间的关系。实验结果显示了策略的有效性。

    Feb, 2023

  • 探索可解释性选择以控制抽象摘要

    本篇研究发展了一个名为 ESCA 的模型，该模型通过开创性的选择 - 生成框架实现了文档摘要，能够以更好的性能应用于 CNN/Daily Mail 和 NYT50 等基准数据集。

    Apr, 2020

  • 无监督双智能体强化学习实现高效可解释的压缩文本摘要

    提出了一种利用无监督双代理强化学习来优化摘要语义覆盖和流畅度的高效且可解释的压缩摘要方法，该模型由提取器代理和压缩器代理组成，并且两个代理都具有多头注意力指针结构。实验结果表明，该模型在广泛使用的三个数据集上均取得了有希望的表现。

    Jun, 2023

  • 无监督摘要生成的最近趋势

    本调查涵盖了用于无监督摘要的不同技术和模型，包括抽取式摘要、生成式摘要和混合模型，提出了一种分类方法，并讨论了当前的方法、一些数据集和评估方法。

    May, 2023

  • 可控抽象摘要

    本文提出了一种神经摘要模型，能够通过简单而有效的机制实现用户对文本长度、风格、感兴趣的实体等高级属性的控制，以生成符合用户需求的高质量摘要，并在 CNN-Dailymail 数据集上优于现有的自动化系统和人工评价。

    Nov, 2017

  • 下一步是什么？基于下一句预测的提取式摘要

    使用 NEXTSUM 方法进行文章自动摘要，通过模型预测下一个句子是否应该包含在摘要中来兼顾信息的完整性和紧凑性，实验结果表明比传统方法表现更好。

    Jan, 2019

  • 长篇科学文档的基于话语的无监督摘要

    本文提出了一种基于无监督的基于图的排名模型，用于提取科学文献的摘要。我们的方法假定源文档采用两级分层图表示，并利用不对称的位置提示来确定句子的重要性。在 PubMed 和 arXiv 数据集上的结果表明，我们的方法在自动指标和人工评价方面优于强无监督基线。此外，其性能与许多基于监督学习的方法相当。这些结果表明，篇章结构中的模式是确定科学文章重要性的强有力信号。

    May, 2020