EMNLPOct, 2022

HEGEL：用于长文档摘要的超图变换器

PDF
TL;DR本文提出了一种名为 HEGEL 的超图神经网络方法来解决长文本提取式摘要中跨句子关系建模难的问题，通过捕捉高阶跨句子关系来更新和学习有效的句子表示，并融合包括潜在主题、关键词、指代和章节结构等不同类型的句子依赖，实验证明其有效性和高效性。
extractive summarizationlong documentshegelhypergraph neural networkeffective sentence representations
发现论文，激发创造
  • HETFORMER：用于长文本抽取式摘要的稀疏注意力异构 Transformer

    本文提出了一种基于 Transformer 的预训练模型，通过多粒度稀疏注意力机制，从长文本中捕捉语义图结构并进行提取式摘要，实验证明 HETFORMER 在 Rouge F1 上具有最先进的性能，同时使用更少的内存和参数。

    Oct, 2021

  • 全球与本地级科技文档摘要的分层注意图

    我们提出了 HAESum，一种利用图神经网络在基于分层话语结构的文档中进行局部和全局建模的新方法。通过使用局部异构图来学习句内关系，然后引入一种新颖的超图自注意层以进一步增强句间高阶关系的表征，在两个基准数据集上验证了我们的方法，实验结果表明考虑分层结构在建模长篇科技文档中的重要性以及 HAESum 的有效性。

    May, 2024

  • 异质图神经网络用于文档摘要提取

    本文介绍了一种异构图神经网络 (HeterSumGraph) 用于信息抽取式文档摘要的任务中，该网络结构包含不同粒度级别的语义节点，这些额外的节点作为句子之间的中介，丰富交叉句关系，同时我们的图结构在自然扩展从单个文档设置到 多文档，引入文档节点。该方法是第一次在基于图的神经网络中引入不同类型的节点进行信息抽取式文档摘要，并进行了全面的定性分析以探究其优劣。

    Apr, 2020

  • 由潜在分层文档结构引导的抽象摘要

    提出使用层次感知图神经网络（HierGNN）实现文档结构层次分析的自动摘要模型，在 CNN / DM 和 XSum 数据集上分别取得了平均 ROUGE-1/2/L 为 0.55 和 0.75，在人工评估中也证明了其比基线具有更高的内容相关性和较少的冗余。

    Nov, 2022

  • 基于异构图嵌入的无监督中文摘要提取

    本文提出了首个基于异构图嵌入的无监督抽取式摘要方法，构造异构文本图以捕捉不同粒度的交互，并取得了在三个摘要数据集上的一致优异结果。

    Nov, 2022

  • 多文档摘要的分层 Transformer

    本文提出了一种神经网络归纳模型，能够有效地处理多个输入文档，并利用 Transformers 架构对文档进行层次编码，通过注意力机制来表示跨文档之间的关系，并学习文本单元之间的潜在依赖关系，在 Wikisum 数据集上的实验证明，所提出的架构比数个强基线模型都有明显的改进。

    May, 2019

  • 长文档摘要的高效注意力机制

    本文提出了 Hepos，一种新颖的有效的编码器 - 解码器关注机制，结合 Hepos，我们能够处理比使用全注意力的现有模型多 10 倍的令牌，有别于现有的高斯自注意机制。同时，我们还展示了新的包含非常长的文档和总结的数据集 GovReport，并且试验结果表明，我们的模型产生的 ROUGE 得分明显高于竞争对手比较，包括 PubMed 上的最新最先进的结果，人类评估也表明，我们的模型产生更多有用信息的总结。

    Apr, 2021

  • GRETEL: 面向长文本抽取式摘要的图形对比主题增强语言模型

    本文提出了图对比主题增强语言模型 (GRETEL)，该模型将图对比主题模型与预训练语言模型相结合，以充分利用全局和局部语境语义进行长文本提取式摘要。实验结果表明，该方法优于目前最佳方法。

    Aug, 2022

  • Hi-Transformer: 高效、有效的长文档建模的分层交互式 Transformer

    提出一种称为 Hi-Transformer 的层次交互 Transformer 模型，通过学习每个句子的表示来获取全局文档信息，可以高效、有效地处理长文档建模问题。

    Jun, 2021

  • 使用分层学习生成长源序列

    本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

    Apr, 2021