EMNLPDec, 2020

Transformer 的抽取式摘要真的需要那么多参数吗？语篇可以提供帮助！

PDF
TL;DR该研究提出了一种基于文档级语篇信息的参数轻量级自我关注机制，相比原始转换器模型在参数数量上实现了显著减少，并在提取性摘要任务上实现了有竞争力的 ROUGE 分数。
multi-head self-attentiontransformer modelsparameter-lean self-attentiondiscourse priorsextractive summarization
发现论文，激发创造
  • 基于 Transformer 神经摘要模型的篇章树预测

    使用预训练的神经网络提取文档级别的语篇树，研究发现总结中存在依存和从属语篇信息，这种信息通常被编码为单个头部，覆盖长距离和短距离的语篇依赖性。实验结果表明，学习到的语篇信息具有普适性和领域之间的可传递性。

    Apr, 2021

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021

  • 简化特征提取器可避免神经语篇分析模型的过拟合

    利用自我注意机制和预训练神经语言模型来简化特征提取器，缓解过拟合问题，并在三种常见的语篇分析任务上进行实验，得出了更好的泛化性和相当甚至更好的系统性能的结论。

    Oct, 2022

  • 利用预训练的层次 Transformer 进行无监督抽取式摘要

    本文提出了一种使用 transformer 自注意力机制进行无监督文本摘要提取的方法，并在 CNN / DailyMail 和 New York Times 数据集上证明其优于现有的无监督模型，且不太依赖于句子位置。

    Oct, 2020

  • 人类引导下解释性注意力模式在摘要和主题分割中的应用

    该论文介绍了一种结合人机交互的流程来发现重要的任务特定的注意力模式，然后注入到原始模型和较小的模型来提高模型的准确性与效率，取得了在提取式摘要和主题分割方面显著提高的结果。

    Dec, 2021

  • 挑选未充分利用的头部：关注网络修剪对于融合对话指代信息的头部选择的视角

    通过网络修剪的角度，研究了一种特征注入的注意头选择和操作策略，并在对话摘要中进行了案例研究，结果表明通过注意头操作注入指代关系信息可以提高对话摘要的性能。

    Dec, 2023

  • 注意力已不再是唯一需求

    该论文提出了一种自注意力机制的替代方案，称为 “Extractor”，通过将自注意力机制替换为 “Extractor” 可以提高 Transformer 模型的性能，并且 “Extractor” 具有比自注意力更短的计算路径，从而有潜力在速度上更快地运行。此外，论文还通过基于变长离散时间马尔可夫链的文本生成场景下的序列预测问题对 Transformer 进行了回顾。

    Aug, 2023

  • 一种论述感知的长文本抽象摘要关注模型

    本文提出了一种针对单个较长文档（如研究论文）进行抽象概括的模型，采用新的分层编码器对文章进行语篇结构建模，并运用有意识的编码器生成摘要，实验证明该模型显著优于现有模型。

    Apr, 2018

  • 语境感知神经提取式文本摘要

    使用 Discobert 模型从已修剪的子句中提取文本，通过基于结构的话语图来捕获在 BERT 中不能很好捕获的长程依赖关系，该模型在流行的摘要基准测试中表现出显着的优越性。

    Oct, 2019

  • 基於 Transformer 語言模型的抽取式和生成式神經文件摘要

    本文采用神经抽象总结的方法来产生长文档的抽象总结，该方法使用一个简单的抽取步骤来生成一个摘要，然后将其用作相关信息的转换器语言模型的条件，然后生成一个摘要。我们展示了这个抽取步骤显著地改善了总结结果，而且这种方法产生的抽象总结比以前采用复制机制的工作能够实现更高的浸润得分。

    Sep, 2019