ACLMay, 2021

Focus Attention: 促进摘要信息的忠实性和多样性

PDF
TL;DR文章介绍了一种 “Focus Attention Mechanism” 方法，用于促进生成与输入的主题相似的数据摘要，同时提出了一种 “Focus Sampling” 方法，实现多样化生成，实验表明这种方法比其他采样方法更有效。
发现论文，激发创造
  • 提高抽象化摘要中的忠实性

    本研究提出了 Faithfulness Enhanced Summarization (FES) 模型，该模型使用 question-answering (QA) 技术检查 encoder 是否完全理解输入文档，并回答关键信息的问题，并引入 max-margin loss 来防止语言模型的过度自信。实验表明，我们的模型在两个基准摘要数据集 CNN/DM 和 XSum 上显著优于强对比模型，并生成比对比模型更符合事实的摘要。

    Oct, 2022

  • 查询驱动的抽象总结的多样性注意力模型

    该研究提出了一种基于编码 - 注意 - 解码范式的查询式摘要模型，具有查询注意模型和多样性基于注意模型。实验表明，该模型相对于基础模型具有 28% 的 ROUGE-L 分数的增益。

    Apr, 2017

  • 面向忠实度的抽象化摘要生成解码策略

    研究从生成技术角度对抽象摘要生成中的准确性进行了系统研究，发现大的 beam size 下的 beam search 生成最真实的摘要，而核采样生成的最不真实，同时提出了两种新的技术以进一步提高准确性。

    Mar, 2023

  • 摘要文档生成的注意力优化

    该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。

    Oct, 2019

  • 忠于原始：事实感知的神经网络抽象摘要

    提出了一种基于句法和信息提取的双重注意序列到序列框架，该框架旨在解决抽象汇总中存在的虚假事实问题，并使生成的汇总同时具有信息丰富性和语义准确性。

    Nov, 2017

  • 论抽象化摘要中的忠实度与客观性

    分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

    May, 2020

  • 可控主题聚焦抽象摘要

    该研究提出了一种基于 Transformer 的架构，能够生成以特定主题为焦点的摘要，并通过修改 Transformer 的交叉注意机制实现主题焦点控制，从而在 NEWTS 数据集上取得了新的最佳表现，并且能够通过微调将该机制应用于不同的 Transformer 模型，提高了 CNN/Dailymail 和 XSum 基准数据集上的抽象概括性能。同时，通过人工评估证明，该模型生成的摘要更加准确，胜过了最先进的 Frost 模型。

    Nov, 2023

  • 一种论述感知的长文本抽象摘要关注模型

    本文提出了一种针对单个较长文档（如研究论文）进行抽象概括的模型，采用新的分层编码器对文章进行语篇结构建模，并运用有意识的编码器生成摘要，实验证明该模型显著优于现有模型。

    Apr, 2018

  • 综合的和抽象的摘要：基于行列式点过程的多样化注意力

    本文通过引入一种称为微观 DPPs 和宏观 DPPs 的方法，提出了一个名为 DivCNN Seq2Seq 的 Diverse Convolutional Seq2Seq 模型，用于生成注重质量和多样性的 attention distribution，从而相比传统模型和强基线模型实现更高的综合性摘要生成。

    Sep, 2019

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021