通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好，同时也超过了大规模加提示的 Prompt Tuning，并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。

Apr, 2022

本文提出了一种可控的神经生成框架，它可以利用个人命名实体规划灵活引导对话摘要生成。条件序列被调节以决定何种类型的信息或者何种角度着重于形成摘要，以解决摘要任务中的低限制问题。实验结果表明，我们提出的框架使用各种规划控制生成流畅和事实正确的摘要。

Sep, 2021

PromptSum 方法结合 Prompt 调优技术、多任务目标和离散实体提示，实现了在高效参数、高效数据和可控性三重条件下的强大自动摘要性能。

Aug, 2023

本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

Feb, 2023

本文探讨深度学习在抽象性概括方面的成功，以及因评论摘要的训练数据不易获取而引发对依赖人工制作的方法的发展，提出通过采用内容计划的概念在评论摘要既可以获得更高质量的结果，也可以生成自然且更接近于真实世界的摘要 - 评论数据集。

Dec, 2020

提出了一种新的度量生成摘要与原文事实一致性的方法，并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外，还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法，并在实体层面的指标上得到了进一步的改进。

Feb, 2021

基于预训练语言模型的实体摘要生成过程中，常常出现虚构信息的问题，为了解决这个问题，我们使用事实和模板的分解结构，提出了一种可解释的框架 SlotSum。该框架首先创建一个模板，然后根据输入文档预测每个模板位置的事实。通过事实和模板的分解，SlotSum 能够容易地定位错误并利用外部知识修正虚构的预测结果。我们构建了一个新的数据集 WikiFactSum 用于评估 SlotSum 的性能，实验结果表明 SlotSum 能够生成更具可信度和事实性的摘要。

Feb, 2024

该论文提出了三个预训练目标，并基于未标记的文本对 Seq2Seq based abstractive summarization model 进行预训练，从而在有限的监督 summarization data 上改进其性能，这三个目标与 abstractive document summarization task 有密切关联。实验结果表明，这三个目标均能改进模型性能，且仅使用 19GB 的文本进行预训练即可与使用大规模数据集预训练的模型达到可比较的效果。

Apr, 2020

本文分析生成模型的训练动态，特别是聚焦于总结的方面，并研究了不同阶段的训练过程中模型学到的东西，通过简单的训练修正可以实现不同目标，比如提高事实性和提高抽象程度。

Oct, 2021

通过训练 RoBERTa 模型确认文本中的命名实体，并使用 BART 模型重构被遮盖的命名实体，然后在摘要任务上对 BART 模型进行微调，改进了命名实体的检测准确度和召回率。

Jul, 2023