HIBRIDS: 带有层次偏差的注意力机制用于结构感知长文档摘要

ACLMar, 2022

HIBRIDS: 带有层次偏差的注意力机制用于结构感知长文档摘要

HIBRIDS: Attention with Hierarchical Biases for Structure-aware Long Document Summarization

Shuyang Cao, Lu Wang

TL;DR本文介绍了 HIBRIDS，一种用于将文档结构注入现代 Transformer 计算注意力得分的方法。同时，提出了一个新的任务，即分层问答 - 摘要生成，并标注了一个新的数据集。实验结果表明，与其他方法相比，HIBRIDS 模型在分层问答 - 摘要的质量和内容覆盖范围方面更优，同时能够提高对长篇政府报告和维基百科文章的摘要生成能力，表现以 ROUGE 指标进行评估。

Abstract

Document structure is critical for efficient information consumption. However, it is challenging to encode it efficiently into the modern Transformer architecture. In this work, we present hibrids, which injects Hierarchical Biases foR Incorporating Document Structure into the calculat

hibrids hierarchical biases transformer architecture hierarchical question-summary generation rouge scores

发现论文，激发创造

HIBERT：基于分层双向 Transformer 的文档级预训练技术用于文档摘要

本文提出了一种名为 Hibert 的预训练模型，并将其应用于神经抽取性摘要模型中，通过使用该模型获得了 CNBC / Dailymail 数据集 1.25 ROUGE 和 New York Times 的 2.0 ROUGE，相比于随机初始化的对应组件，性能更具优势，实现了这两个数据集的最新性能。

May, 2019

由潜在分层文档结构引导的抽象摘要

提出使用层次感知图神经网络（HierGNN）实现文档结构层次分析的自动摘要模型，在 CNN / DM 和 XSum 数据集上分别取得了平均 ROUGE-1/2/L 为 0.55 和 0.75，在人工评估中也证明了其比基线具有更高的内容相关性和较少的冗余。

Nov, 2022

多文档摘要的分层 Transformer

本文提出了一种神经网络归纳模型，能够有效地处理多个输入文档，并利用 Transformers 架构对文档进行层次编码，通过注意力机制来表示跨文档之间的关系，并学习文本单元之间的潜在依赖关系，在 Wikisum 数据集上的实验证明，所提出的架构比数个强基线模型都有明显的改进。

May, 2019

带有结构注意力的神经抽象摘要

本文提出了一种基于结构化注意力的分层编码器，用于建模句内和文档间相互依赖关系，在多文档摘要生成任务中表现出显著的改进，击败了现有的模型。

Apr, 2020

HiStruct+: 基于层次结构信息的提取式文本摘要优化

通过提出的 HiStruct+ 模型，将 Transformer-based language models 中的层级结构信息显式注入到提取式文摘模型中，提高了 PubMed 和 arXiv 数据集中提取式文摘的 ROUGEs 指标，实验发现：数据集对模型效果的影响是关键因素，数据集中的明显层级结构可以取得更大的性能提升，而在模型的表现中，层级位置信息的贡献最大。

Mar, 2022

使用分层学习生成长源序列

本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

Apr, 2021

长文档摘要的高效注意力机制

本文提出了 Hepos，一种新颖的有效的编码器 - 解码器关注机制，结合 Hepos，我们能够处理比使用全注意力的现有模型多 10 倍的令牌，有别于现有的高斯自注意机制。同时，我们还展示了新的包含非常长的文档和总结的数据集 GovReport，并且试验结果表明，我们的模型产生的 ROUGE 得分明显高于竞争对手比较，包括 PubMed 上的最新最先进的结果，人类评估也表明，我们的模型产生更多有用信息的总结。

Apr, 2021

一种论述感知的长文本抽象摘要关注模型

本文提出了一种针对单个较长文档（如研究论文）进行抽象概括的模型，采用新的分层编码器对文章进行语篇结构建模，并运用有意识的编码器生成摘要，实验证明该模型显著优于现有模型。

Apr, 2018

检索增强的意见摘要的分层索引

我们提出了一种无监督的抽象意见总结方法，将提取性方法的可归因性和可扩展性与大型语言模型（LLMs）的连贯性和流畅性相结合。

Mar, 2024

层次化并行变压器与注意力对齐技术用于抽象多文档摘要

本研究提出了一种带有 Attention Alignment 机制的 Parallel Hierarchical Transformer（PHT）用于 Multi-Document Summarization（MDS）。通过将单词级和段落级的 multi-head attention 结构综合起来，PHT 的分层体系结构可以更好地处理令牌和文档级别的依赖关系，从而更好地处理内部和跨文档信息。基于 WikiSum 数据，对所提出的体系结构进行了全面评估，结果表明，相对于其他基于 Transformer 的基线，我们的分层模型可以以相对较低的计算成本，通过更好的处理 MDS 来生成更高质量的摘要。

Aug, 2022