Jun, 2023

Absformer: 基于 Transformer 的无监督多文档抽象摘要模型

PDF
TL;DR本文提出了一种新的基于 Transformer 的方法，称为 Absformer，旨在针对没有提供摘要总结的文档进行无监督的抽象式多文档摘要生成，并在现实世界的三个不同领域的数据集上进行了评估，结果表明该方法在评价指标方面取得了实质性的提高，并且具有从不同领域的数据集中泛化的优势。
发现论文，激发创造
  • 主题引导的抽象多文档摘要

    该论文提出了一种基于异构图和神经主题模型的抽象多文档摘要模型，采用图到序列的框架，同时训练主题和摘要模块以提高性能和生成高质量主题。

    Oct, 2021

  • 基于神经网络的抽象式多文档摘要生成方法研究

    本文针对多文档自动摘要问题，提出了一个基于小型多文档训练集的神经抽象模型 fine-tuning 方法，实证结果在两个基准 DUC 数据集上表现优异。

    Apr, 2018

  • 深度学习技术在多文档摘要中的应用：一项调查

    本文回顾了近期基于深度学习的多文档摘要模型，提出了新的分类方法以及对这个领域的现状进行了综合总结，并且强调了现有文献中很少讨论的各种目标函数之间的区别，最后对未来发展方向提出了几个建议。

    Nov, 2020

  • 通过参考灵活提取和信用感知来提高多文档摘要

    本文提出一种通过提取 - 摘要 Transformer 框架解决多文档摘要中输入长度过长问题的方法，其中包括分层提取和摘要重写。通过权重和深度强化学习等机制建立了抽取 - 摘要模型，实现了在大型数据集 Multi-News，Multi-XScience 和 WikiCatSum 上具有最佳效果的模型。

    May, 2022

  • 基于 Transformer 的自动文摘实现

    文章旨在利用基于 Transformer 的技术提高文章章节摘要的生成效率和质量。

    Jan, 2023

  • Multi-News：一个大规模的多文档摘要数据集和抽象分层模型

    本文介绍了首个大规模多文档新闻数据集 Multi-News，并提出一个将传统提取式摘要模型与标准单文档摘要模型结合的端到端模型，取得了有竞争力的结果。我们在 Multi-News 上比较了几种方法，并希望我们的数据和代码能促进多文档摘要领域的进展。

    Jun, 2019

  • 层次化并行变压器与注意力对齐技术用于抽象多文档摘要

    本研究提出了一种带有 Attention Alignment 机制的 Parallel Hierarchical Transformer（PHT）用于 Multi-Document Summarization（MDS）。 通过将单词级和段落级的 multi-head attention 结构综合起来，PHT 的分层体系结构可以更好地处理令牌和文档级别的依赖关系，从而更好地处理内部和跨文档信息。 基于 WikiSum 数据，对所提出的体系结构进行了全面评估，结果表明，相对于其他基于 Transformer 的基线，我们的分层模型可以以相对较低的计算成本，通过更好的处理 MDS 来生成更高质量的摘要。

    Aug, 2022

  • 用于抽象化多文档摘要的分层编码解码方案

    本研究提供了一种新的方法，通过采用编码器和解码器的分层方法来更好地利用预训练语言模型，以促进多文档任务的交互。大量实验表明，该方法可以在各种领域的 10 个多文档数据集上实现一致的提高，优于以前的最佳模型，并且甚至与某些具有额外多文档预训练或更大模型参数的模型相比具有更好的或竞争性的结果。

    May, 2023

  • 利用图形提高抽象多文档摘要

    本文提出了一种神经抽象的文档多摘要模型，该模型利用文档之间的相似性图和话语图等知名图形表示来更有效地处理多个输入文档并生成抽象的摘要，其利用图形编码文档以捕捉跨文档关系，可以利用图形来指导摘要生成过程，结果表明该架构相比多个强基线带来了实质性的改进。

    May, 2020

  • WSL-DS: 面向查询的多文档抽象摘要的弱监督学习与远程监督

    本文通过利用远程监督的方法来进行弱监督学习，使用类似于目标数据集的数据作为训练数据，借助预训练的句子相似度模型生成每个文档的弱参考摘要，进而在多篇文档中逐一确定单篇文档的摘要，最终在 DUC 数据集上以多种评价指标居于业内领先水平。

    Nov, 2020