ACLMar, 2022

HiStruct+: 基于层次结构信息的提取式文本摘要优化

PDF
TL;DR通过提出的 HiStruct+ 模型，将 Transformer-based language models 中的层级结构信息显式注入到提取式文摘模型中，提高了 PubMed 和 arXiv 数据集中提取式文摘的 ROUGEs 指标，实验发现：数据集对模型效果的影响是关键因素，数据集中的明显层级结构可以取得更大的性能提升，而在模型的表现中，层级位置信息的贡献最大。
transformer-based language modelshierarchical structureextractive summarizationhistruct+ modelhierarchical position information
发现论文，激发创造
  • SumHiS: 挖掘隐藏结构的提取式摘要

    我们介绍了一种利用文本的隐藏聚类结构进行摘要提取的新方法。在 CNN/DailyMail 数据集上的实验结果表明，我们的方法生成的摘要比提取式和抽象式方法更准确，并在 ROUGE-2 指标方面取得了超过先前方法 10% 的最新成果。此外，我们还展示了文本的隐藏结构可以解释为不同的主题。

    Jun, 2024

  • 结构化 Transformer 的逐步提取式摘要和计划

    采用结构化 transformers 和 encoder-centric 模型进行抽取式摘要，通过将前面生成的摘要注入到 transformer 中实现了分步式摘要，同时不依靠任务特定的冗余建模，成为一个通用的抽取式内容规划器。在 CNN / DailyMail 和 Rotowire table-to-text 生成上，我们的模型表现出最先进的性能，并且 extended transformers 模型在这两个数据集上提供了最佳的性能表现。

    Oct, 2020

  • 由潜在分层文档结构引导的抽象摘要

    提出使用层次感知图神经网络（HierGNN）实现文档结构层次分析的自动摘要模型，在 CNN / DM 和 XSum 数据集上分别取得了平均 ROUGE-1/2/L 为 0.55 和 0.75，在人工评估中也证明了其比基线具有更高的内容相关性和较少的冗余。

    Nov, 2022

  • 具有层次累积的树状关注

    本文提出了 “Hierarchy Accumulation” 的方法，将分析树结构编码为自注意力，以常数时间复杂度实现了序列模型，相较于 SOTA 方法，在四个 IWSLT 翻译任务和 WMT'14 英德翻译任务上表现更好，并在三项文本分类任务上胜过 Transformer 和 Tree-LSTM，同时表明使用分层先验可以补偿数据短缺，该模型更倾向于使用短语级别的自注意力。

    Feb, 2020

  • 多文档摘要的分层 Transformer

    本文提出了一种神经网络归纳模型，能够有效地处理多个输入文档，并利用 Transformers 架构对文档进行层次编码，通过注意力机制来表示跨文档之间的关系，并学习文本单元之间的潜在依赖关系，在 Wikisum 数据集上的实验证明，所提出的架构比数个强基线模型都有明显的改进。

    May, 2019

  • HIBRIDS: 带有层次偏差的注意力机制用于结构感知长文档摘要

    本文介绍了 HIBRIDS，一种用于将文档结构注入现代 Transformer 计算注意力得分的方法。同时，提出了一个新的任务，即分层问答 - 摘要生成，并标注了一个新的数据集。实验结果表明，与其他方法相比，HIBRIDS 模型在分层问答 - 摘要的质量和内容覆盖范围方面更优，同时能够提高对长篇政府报告和维基百科文章的摘要生成能力，表现以 ROUGE 指标进行评估。

    Mar, 2022

  • 无监督分析的层次 Transformer

    本文扩展了转换器模型，使其能够学习自然语言中的层次结构，得到了较好的无监督语法分析结果。

    Mar, 2020

  • 检索增强的意见摘要的分层索引

    我们提出了一种无监督的抽象意见总结方法，将提取性方法的可归因性和可扩展性与大型语言模型（LLMs）的连贯性和流畅性相结合。

    Mar, 2024

  • 基于 BERT 的分层图掩蔽的事实级提取式摘要

    通过提取基于事实的语义单元，并将多级粒度的文本信息结合到模型中，并使用层次图表结合 BERT 模型，我们在 CNN/DailyMail 数据集上获得了最好的结果。

    Nov, 2020

  • 利用预训练的层次 Transformer 进行无监督抽取式摘要

    本文提出了一种使用 transformer 自注意力机制进行无监督文本摘要提取的方法，并在 CNN / DailyMail 和 New York Times 数据集上证明其优于现有的无监督模型，且不太依赖于句子位置。

    Oct, 2020