本文提出了一种名为 DAPA 的轻量级领域通用前缀平均方法，通过源域的前缀生成目标域摘要，并利用加权平均源前缀的相似性计算权重。实验结果表明，DAPA 具有较好的性能表现。

May, 2023

Prompter 提出了一种使用目标领域槽的描述生成动态前缀的方法，从而使得可以在零样本情况下使用前缀调整。该方法在 MultiWOZ 和 SGD 基准测试中均优于以前的方法。

Jun, 2023

本研究探讨了在低资源环境下，针对六个不同领域的抽象摘要任务中，利用大规模生成模型进行领域自适应预训练的有效性。实验表明，预训练的有效性与预训练数据与目标任务的相似度相关，同时发现预训练会导致预训练模型的灾难性遗忘，但使用一种遗忘较少的学习方法可以缓解这个问题。此外，结果表明低资源和高资源的差距仍然很大，需要更先进的领域自适应方法来解决抽象摘要任务中的问题。

Mar, 2021

本文提出了基于前缀微调（prefix tuning）的方法，使用一组可训练的连续前缀提示和离散提示来辅助模型生成，显著提高了使用 GPT-2 生成的 CNN/Daily Mail 和 XSum 摘要的事实保留。此方法在知识增强的文档摘要中表现出了其有效性，并显示了在其他自然语言处理任务中的巨大潜力。

Jan, 2023

本论文提出了在数据集特定方式下通过对预训练模型进行微调以实现摘要生成的新型通用方法 - WikiTransfer，并使用循环全球翻译的数据扩增和正则化来提高性能，最终在 CNN-DailyMail 数据集上取得了最先进的性能

Oct, 2020

本文提出了一种多源预训练范式以更好地利用外部摘要数据，通过有限的训练数据实现对话摘要的有竞争力的性能和不同对话场景中的泛化能力。

Sep, 2021

该研究介绍了一种基于 GPT-2 模型的零 - shot 通用端到端任务导向对话系统，该系统利用​​域模式允许对未见过的域进行健壮的泛化，并利用对话历史的有效摘要，实现一般任务完成技能的学习。经过了大量的实验评估 SGD 和 SGD-X 数据集，跨越多达 20 个独特的领域，ZS-ToD 在关键度量上优于现有技术，联合目标准确率提高了 17％，信息传递提高了 5 个单位。

Mar, 2023

使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。

Jun, 2022

我们提出了一种特定于多场景多领域对话摘要的新型预训练模型，它采用多阶段预训练策略来缩小预训练目标和微调目标之间的差距。实验结果表明，我们的预训练模型在完全微调、零样本和少样本设置下，显著优于先前的最先进模型。

Oct, 2023

生物医学摘要需要大规模数据集以训练文本生成。通过我们的研究，我们发现，虽然迁移学习是解决这一挑战的一个可行选择，但在一个 BioASQ 摘要任务中，域内预训练并不总是带来优势。我们确定了一种适合的模型架构，并使用它展示了一个通用领域预训练，并在 BioASQ 摘要任务的背景下进行任务特定的微调的好处，从而实现了一种新的三步微调方法，只需使用一千个域内示例即可。我们的结果表明，在某些特定领域的生物医学文本生成任务中，没有进行领域特定预训练的大规模语言模型可能具有明显优势。

Jul, 2023