Apr, 2019

指针生成网络：更抽象的摘要生成

PDF
TL;DR该研究提出了一种基于多头注意力机制、指针 dropout 和新的损失函数的方法，用于促进摘要的提取，同时保持类似 ROUGE 分数，实现了相对较高的新颖 N-gram 和句子生成率。
pointer-generatorabstractive summarizationmultihead attentionloss functionsn-gram novelty
发现论文，激发创造
  • 利用指针生成网络进行摘要生成

    本文提出了一种新的架构，通过使用混合指针生成网络和覆盖机制以增强标准的序列到序列注意模型来解决神经序列到序列模型不精确复制信息和重复问题，该模型在 CNN/Daily Mail 摘要任务上表现优异。

    Apr, 2017

  • 通过引导注意力来提高指针网络的生成质量

    本文指出指针生成网络在生成摘要方面存在的提取性和事实准确性不足，并通过附加传统语言信息来纠正这些缺陷，以提高生成效果。

    Jan, 2019

  • 指点还是不指点：深入理解摘要生成器的文本改写技术

    本文研究了抽象神经摘要模型中常用的门控机制是如何控制摘要产生的抽象度和拷贝的提取性，并通过实验证明了这种机制在语法边界方面的应用。同时，也发现了抽象神经摘要模型目前缺乏生成都具备抽象和忠实性的释义所必需语义理解能力的问题。

    Jun, 2021

  • 概念指针网络用于抽象摘要生成

    本论文提出基于概念指针网络的抽象总结方法，使得生成的总结不仅保留了原文的关键信息，同时还生成了新的概念词汇来表达具体细节，而且采用了一种新颖的远程监督学习方法来优化训练模型。实验结果表明，该方法在 DUC-2004 和 Gigaword 数据集上显著优于多种最先进的模型。

    Oct, 2019

  • 面向主题的指针生成网络用于口语对话摘要

    为了更好地总结对话内容，我们提出了一种基于主题感知结构的指针生成器模型，该模型在使用具有层次结构的主题信息进行适应的同时，在提取和生成方面展现了卓越的性能。

    Oct, 2019

  • 利用指针 GPT 的生物医学文本摘要的最佳路径

    通过使用指针网络替代原始 GPT 模型的注意力机制，研究发现指针 - GPT 模型在生物医学文本摘要中优于原始 GPT 模型，这对于电子病历系统来说是具有价值的重要补充，可以为临床医生提供更准确、更丰富的病历摘要信息，有可能在电子病历系统中开创一种新的模式并改变临床医生与病历交互方式。

    Mar, 2024

  • 再探类指针网络架构以有效改善下一个单词的分布，摘要真实性及其他方面

    本研究发现传统的语言模型中的 Softmax 层有瓶颈，使用 Pointer Networks 可以更高效地预测下一个单词的概率分布，并提出了多种简化 Pointer Networks 的方法，实验表明在 GPT-2 中应用这些方法可以显著提升摘要生成性能。

    May, 2023

  • 综合的和抽象的摘要：基于行列式点过程的多样化注意力

    本文通过引入一种称为微观 DPPs 和宏观 DPPs 的方法，提出了一个名为 DivCNN Seq2Seq 的 Diverse Convolutional Seq2Seq 模型，用于生成注重质量和多样性的 attention distribution，从而相比传统模型和强基线模型实现更高的综合性摘要生成。

    Sep, 2019

  • 自下而上的抽象摘要

    本文提出了一种简单的方法来解决神经网络摘要方法中存在的内容选择问题：使用数据有效的内容选择器来过度确定应该作为摘要的来源文档中的短语，通过作为自底向上的注意步骤来约束模型以生成更简洁而流畅的摘要。该方法比其他端到端内容选择模型更简单且性能更高，在 CNN-DM 和 NYT 语料库中表现出显著的 ROUGE 值提高。此外，内容选择器只需要训练 1000 个句子就可以使摘要器轻松地进行领域转移。

    Aug, 2018

  • 基于神经网络的基于查询的抽象摘要生成

    本文提出了一种基于查询的文章摘要生成模型，使用新闻文章摘要数据集训练了指针生成模型，通过与参考摘要的相似度评估生成的摘要，结果表明可以构建类似于抽象式摘要的神经网络模型，使用查询生成有针对性的摘要。

    Dec, 2017