本文提出一种高效的 few-shot 方法来训练与顾客评论相关的摘要模型。该方法利用适配器进行预训练，并在大量未注释的顾客评论和少量人工注释样本上进行微调。实验结果表明，与标准微调相比，自我监督的适配器预训练可以提高摘要质量，减少语法错误和语义错误。

May, 2022

本研究提出了一种基于维基百科的方法收集一个大规模的问题导向文本摘要数据集 (WIKIREF) 并用于数据增广，同时使用 BERT 算法开发出一个 Q-BERT 模型进行摘要提取，采用细调神经网络方法，将海量参数的大模型适应于小型基准测试，实验证明该方法提升了机器摘要的性能。

Nov, 2019

本文提出了一种方法，利用大型预训练模型和多样的现有语料库，解决低资源抽象摘要化问题，在各种写作风格和形式的摘要语料库上实验证明，我们的方法仅使用 0.7％的可训练参数与以前的工作相比，在低资源情况下实现了 6 个语料库的最新技术水平。

Feb, 2021

本文提出了一种高效且通用的基于领域的前缀微调模型，利用领域词初始化前缀模块以减轻领域交错，采用离散提示来引导模型关注对话的关键内容并增强模型的泛化能力。我们在 TODSum 和 QMSum 数据集上进行了零 - shot 实验，并构建了领域自适应基准。充分的实验和定性分析证明了我们方法的有效性。

Apr, 2022

通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好，同时也超过了大规模加提示的 Prompt Tuning，并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。

Apr, 2022

提出一种称为 UniSumm 的统一的 few-shot summarization 模型来共同处理多个任务，并可前缀调整以适应任何 few-shot summarization 数据集，并宣传了一个新的基准 SummZoo，其由 8 个不同的生成任务组成， 结果表明，UniSumm 超越了强基准系统，并在 SummZoo 的所有任务中都通过自动和人工评估实现了更好的效果。

Nov, 2022

使用领域下的生成任务对预训练模型进行微调往往导致零热点条件下的灾难性遗忘。本研究关注摘要生成并通过语言无关的表示解决这个问题。通过在单语摘要上进行训练，我们在新语言或语言对之间进行零热点传输。首先我们展示原先微调的模型在输出行为和内部表示上高度依赖于语言，导致零热点情况下性能较差。接下来，我们提出查询 - 键（QK）微调方法来分离任务特定的知识和预训练语言生成能力。然后，我们展示标准对抗语言分类器的缺点，提出了更直接强制性的平衡变体以实现语言无关的表示。此外，我们的定性分析表明，去除源语言身份与零热点摘要生成性能相关。我们的代码是公开可用的。

Apr, 2024

本文介绍了一种学习无监督条款，在生成模型中引入少量样本来捕获其必要属性的方法，用于生成商品评论等主观性文本的摘要，该方法比以往的提取和抽象方法更有效。

Apr, 2020

该论文通过域转移和数据综合的方法，研究了当应用于学生反思材料等小型文集时，如何提高最近的抽象摘要方法的性能，得到了更高的 ROUGE 分数。

Feb, 2020

大型语言模型（LLM）的零摘要生成与人工编写的参考摘要相媲美，我们评估了零摘要生成摘要在生物医学文章等专业领域的实际性，并通过领域专家注释识别总结中的不一致性。

Feb, 2024