对比关注机制用于抽象句子摘要
该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。
Oct, 2019
本文提出了一种基于数据驱动的、对抽象句子的局部关注模型进行生成式摘要的方法，通过训练大规模数据，该模型相比较于几种强基线模型在 DUC-2004 共享任务中表现了显著的性能提升。
Sep, 2015
本文中，我们介绍了一种利用卷积神经网络检测具有局部平移不变性和长远主题型注意力特征的关注神经网络，用于解决将源代码片段极端归纳为类似函数名称的概述的问题，在十个流行的 Java 项目中进行测试，并显示出优于之前注意性机制的性能。
Feb, 2016
该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要，并在两个不同的语料库上展示其实现最先进的性能。同时，该研究还提出了几种解决文摘中的关键问题的新模型，比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外，研究还建立了一个多句子的文摘数据集，以便后续的新研究能建立性能基准。
Feb, 2016
本文提出了一种对比学习模型，用于文本摘要的有监督抽象，通过将文档、其黄金摘要和模型生成的摘要视为同一平均表示的不同视图，并在训练过程中最大化它们之间的相似性，从而改进了强序列到序列的文本生成模型（即 BART）。人类评估也显示，我们的模型与没有对比目标的对应模型相比，实现了更好的忠实度评分。
Sep, 2021
本文通过引入一种称为微观 DPPs 和宏观 DPPs 的方法，提出了一个名为 DivCNN Seq2Seq 的 Diverse Convolutional Seq2Seq 模型，用于生成注重质量和多样性的 attention distribution，从而相比传统模型和强基线模型实现更高的综合性摘要生成。
Sep, 2019
本文提出了一种深度学习方法来解决自动摘要任务，通过将主题信息结合到卷积序列到序列 (ConvS2S) 模型中，并使用自举式非监督序列训练 (SCST) 进行优化。通过联合关注主题和单词级别对齐，我们的方法可以通过有偏的概率生成机制改善生成摘要的一致性、多样性和信息量。与 SCST 类似的强化训练直接根据不可微度量 ROUGE 优化所提出的模型，在推理期间也避免了曝光偏差。我们在 Gigaword、DUC-2004 和 LCSTS 数据集上对最先进的方法进行了实验评估。实证结果证明了我们所提出的抽象摘要方法的优越性。
May, 2018
该研究提出了一个新颖的抽象式单文档文本摘要框架，融合了结构、语义和基于神经网络的方法，通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进，优于现有的深度学习技术。
Apr, 2024
本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。
Feb, 2023