通过多阶段逐步微调的方式，不需要改变模型或学习目标，可以显著提高自然语言处理模型在目标领域的适应能力。

Mar, 2021

通过prompt tuning机制，使用backpropagation学习soft prompts以提升downstream tasks的性能，其中soft prompts可以与多个labeled examples相结合，这种方法比GPT-3的few-shot learning更有效，并且在语言模型规模达到10亿以上时，method的表现与model tuning相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

本文提出了一种名为PPT的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

Sep, 2021

通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

Oct, 2021

本文提出了input-tuning的概念，旨在通过fine-tuning连续提示和输入表示来更有效地适应陌生的自然语言生成任务输入，实验证明它可以显著且一致地胜过prompt-tuning。

Mar, 2022

本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了PLMs的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

Nov, 2022

本论文提出了一种名为Fast Prompt Tuning的技术，通过将partial PLMs中的soft prompts转化到整个PLM中来提高prompt tuning（PT）的训练效率，该技术的应用可以在保持性能的同时节省30%的训练计算资源。

Nov, 2022

本文提出了一种适应预训练语言模型的技术，这种技术在只有 API 访问的情况下，通过软提示调整的方法进行微调，并且不需要访问 PLM 的任何内部表示，同时学习的提示分布可以量化预测的不确定性。通过大量实验证明这种方法可以和基于梯度的完全访问PLM方法相竞争甚至超过它们。

Apr, 2023

通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在23个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了DePT在某些情景下优于最先进的参数高效微调方法，包括完全微调基线。此外，我们的进一步研究揭示了DePT在模型规模增大时更加高效，并展示了DePT在少样本学习设置和各种模型架构和规模中的适应性。

Sep, 2023

通过优化语言模型的权重和提示策略，我们提出了一个解决多阶段管道中无中间阶段标签的问题的近似优化策略，实验证明通过一起优化提示和权重能够显著提高性能。

Jul, 2024