Aug, 2022

层次化并行变压器与注意力对齐技术用于抽象多文档摘要

PDF
TL;DR本研究提出了一种带有 Attention Alignment 机制的 Parallel Hierarchical Transformer（PHT）用于 Multi-Document Summarization（MDS）。 通过将单词级和段落级的 multi-head attention 结构综合起来，PHT 的分层体系结构可以更好地处理令牌和文档级别的依赖关系，从而更好地处理内部和跨文档信息。 基于 WikiSum 数据，对所提出的体系结构进行了全面评估，结果表明，相对于其他基于 Transformer 的基线，我们的分层模型可以以相对较低的计算成本，通过更好的处理 MDS 来生成更高质量的摘要。
multi-document summarizationparallel hierarchical transformerattention alignmentwikisum datarouge
发现论文，激发创造
  • 多文档摘要的分层 Transformer

    本文提出了一种神经网络归纳模型，能够有效地处理多个输入文档，并利用 Transformers 架构对文档进行层次编码，通过注意力机制来表示跨文档之间的关系，并学习文本单元之间的潜在依赖关系，在 Wikisum 数据集上的实验证明，所提出的架构比数个强基线模型都有明显的改进。

    May, 2019

  • 主题引导的抽象多文档摘要

    该论文提出了一种基于异构图和神经主题模型的抽象多文档摘要模型，采用图到序列的框架，同时训练主题和摘要模块以提高性能和生成高质量主题。

    Oct, 2021

  • Absformer: 基于 Transformer 的无监督多文档抽象摘要模型

    本文提出了一种新的基于 Transformer 的方法，称为 Absformer，旨在针对没有提供摘要总结的文档进行无监督的抽象式多文档摘要生成，并在现实世界的三个不同领域的数据集上进行了评估，结果表明该方法在评价指标方面取得了实质性的提高，并且具有从不同领域的数据集中泛化的优势。

    Jun, 2023

  • 用于抽象化多文档摘要的分层编码解码方案

    本研究提供了一种新的方法，通过采用编码器和解码器的分层方法来更好地利用预训练语言模型，以促进多文档任务的交互。大量实验表明，该方法可以在各种领域的 10 个多文档数据集上实现一致的提高，优于以前的最佳模型，并且甚至与某些具有额外多文档预训练或更大模型参数的模型相比具有更好的或竞争性的结果。

    May, 2023

  • 通过参考灵活提取和信用感知来提高多文档摘要

    本文提出一种通过提取 - 摘要 Transformer 框架解决多文档摘要中输入长度过长问题的方法，其中包括分层提取和摘要重写。通过权重和深度强化学习等机制建立了抽取 - 摘要模型，实现了在大型数据集 Multi-News，Multi-XScience 和 WikiCatSum 上具有最佳效果的模型。

    May, 2022

  • 探索多篇文档的层次关系总结

    本文介绍 PeerSum 数据集以生成高度抽象的科学论文审稿的 meta-reviews，并介绍了 Rammer 模型来通过稀疏注意力机制预测元数据特征，从而提高多文档摘要系统的能力。

    May, 2023

  • 基于神经网络的抽象式多文档摘要生成方法研究

    本文针对多文档自动摘要问题，提出了一个基于小型多文档训练集的神经抽象模型 fine-tuning 方法，实证结果在两个基准 DUC 数据集上表现优异。

    Apr, 2018

  • 摘要 - 来源对齐的力量

    扩展摘要 - 源数据对齐框架，应用于提取多个任务的数据集，包括文档摘要、内容突出点检测、冗余检测等。

    Jun, 2024

  • 用于抽象式多文档摘要的压缩异构图

    HGSUM 是一种多文档摘要模型，其通过使用异构图来表示文档中的不同语义单元（例如单词和句子），并使用图池化进行压缩以保留文档中关键信息和关系。在训练中，HGSUM 使用另一种目标来最大化压缩图与来源自地面真实摘要构建的图之间的相似性，并通过相似性和标准交叉熵目标进行端到端训练，在 MULTI-NEWS、WCEP-100 和 ARXIV 数据集上表现优于现有的多文档摘要模型。

    Mar, 2023

  • 利用图形提高抽象多文档摘要

    本文提出了一种神经抽象的文档多摘要模型，该模型利用文档之间的相似性图和话语图等知名图形表示来更有效地处理多个输入文档并生成抽象的摘要，其利用图形编码文档以捕捉跨文档关系，可以利用图形来指导摘要生成过程，结果表明该架构相比多个强基线带来了实质性的改进。

    May, 2020