Nov, 2018

基于伪反馈蒸馏的无监督双级联学习用于基于查询的抽取式摘要

PDF
TL;DR本文提出一种新的无监督、查询聚焦、多文档提取式摘要器 Dual-CES，采用基于显著性和焦点的双级双级联优化方法，以及基于显著性的伪反馈提取，其综合性能明显优于其他最先进的无监督提取式摘要器，并且甚至能够胜过强有力的监督式摘要器。
dual-cesunsupervised summarizerquery-focusedsaliencypseudo-feedback distillation
发现论文，激发创造
  • WSL-DS: 面向查询的多文档抽象摘要的弱监督学习与远程监督

    本文通过利用远程监督的方法来进行弱监督学习，使用类似于目标数据集的数据作为训练数据，借助预训练的句子相似度模型生成每个文档的弱参考摘要，进而在多篇文档中逐一确定单篇文档的摘要，最终在 DUC 数据集上以多种评价指标居于业内领先水平。

    Nov, 2020

  • 通过参考灵活提取和信用感知来提高多文档摘要

    本文提出一种通过提取 - 摘要 Transformer 框架解决多文档摘要中输入长度过长问题的方法，其中包括分层提取和摘要重写。通过权重和深度强化学习等机制建立了抽取 - 摘要模型，实现了在大型数据集 Multi-News，Multi-XScience 和 WikiCatSum 上具有最佳效果的模型。

    May, 2022

  • 基于查询聚焦的多文档概括及远程监督

    本研究提出了一种基于问题回答的粗糙到精细的建模框架，用于解决过去在建立查询与文本段之间关联性上面的问题，并在标准 QFS 基准测试中表现优异。

    Apr, 2020

  • AugTriever：可扩展的数据增强无监督密集检索

    本文提出了无需注释的可扩展伪查询文档对训练方法，包括查询提取和转化查询生成两种。通过使用这些方法，研究展示出比其他方法更好的检索表现。

    Dec, 2022

  • 无监督双智能体强化学习实现高效可解释的压缩文本摘要

    提出了一种利用无监督双代理强化学习来优化摘要语义覆盖和流畅度的高效且可解释的压缩摘要方法，该模型由提取器代理和压缩器代理组成，并且两个代理都具有多头注意力指针结构。实验结果表明，该模型在广泛使用的三个数据集上均取得了有希望的表现。

    Jun, 2023

  • 高质量伪标签选择的半监督对话抽象摘要生成

    采用 SiCF 得分，选择具有高质量生成摘要的无标签对话进行培训，在三个公开数据集上的全面实验表明 SiCF 得分在不确定性估计和对话摘要的半监督学习任务中的有效性。

    Mar, 2024

  • 抽象的面向查询的多文档摘要生成的数据增强

    该研究介绍了两个 QMDS 训练数据集，这些数据集具有互补的性质并使用新的层次编码器建立了基于端的神经网络模型，这些模型不仅在自动度量上表现出了优异的结果，而且在人类评估中也表现出了优异的结果。

    Mar, 2021

  • DeepChannel: 基于对比学习的显著性评估用于文本摘要提取

    DeepChannel 模型是一种强大、高效、可解释的神经网络模型，结合了注意力机制和对比性训练策略，能够从文本中提取最重要的信息，表现出强大的鲁棒性和数据高效性。

    Nov, 2018

  • 可学习的长度控制策略的无监督抽取式摘要

    一种基于孪生网络的无监督抽取式摘要模型，引入了可训练的双向预测目标，在选定的摘要和原始文档之间进行训练。与基于中心性排名的方法不同，我们的抽取式评分器可以进行端到端训练，无需位置假设。此外，我们通过近似 0-1 背包问题求解器引入了一个可微分的长度控制模块，用于端到端可控制长度的抽取。实验证明，相同的句子编码器下，我们的无监督方法在很大程度上优于基于中心性排名的基准方法。在长度控制能力方面，通过我们可训练的背包模块，性能始终优于强基准方法，而无需进行端到端训练。人工评估进一步证明，我们的方法在相关性和一致性方面优于基准方法。

    Dec, 2023

  • 通过校准蒸馏增强摘要模型的抽象性

    提出了一种名为 DisCal 的新方法，通过引入两种监督方式，提高生成摘要的抽象性（通过 n-gram 重叠度量），同时不牺牲信息量（通过 ROUGE 度量），并在摘要提取中优于之前的方法。

    Oct, 2023