通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

Oct, 2021

提出了 VIP，这是软提示调整框架的扩展，着重于两个方面 - 上下文提示通过小规模句子编码器学习软提示令牌的输入特定上下文化和量化提示通过向量量化网络将上下文提示映射到可学习的码本向量的设置。VIP 在各种语言理解任务上表现出优越性能，比软提示调整（PT）基线平均高出 1.19％，并且我们的一般化研究表明 VIP 学习了更稳健的提示表示。

May, 2022

本论文提出了一种名为 ATTEMPT 的新型多任务、参数高效的语言模型微调方法，通过简短的前缀嵌入向量预先训练不同任务，学习跨任务传递知识。该方法通过源提示的编码，在每个实例中对目标任务进行源提示和新初始化的目标提示的插值训练注意力模块。在训练期间，仅更新目标任务提示和注意权重，同时保持原始语言模型和源提示不变。实验结果表明，ATTEMPT 显著优于提示微调，并优于或匹配完全微调或使用超过十倍参数的其他参数高效调整方法。最后，在少次学习设置下，ATTEMPT 优于以前的工作。

May, 2022

本文提出了 MetaPT，一种基于元学习的预训练方法来对话题进行自适应，并在7个下游任务中展示了比现有方法更好的性能和稳定性。

May, 2022

SPT是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过Fine-Tuning GLUE数据集以及在五个自然语言处理任务类别下评估零-shot泛化以及在SuperGLUE数据集上预训练，众多实验证明了其有效性。

Dec, 2022

本文研究了元提示调整（meta prompt tuning）来探索元学习如何通过学习从其他相关任务中初始化提示嵌入来帮助改善PT中的跨任务推广。我们在广泛的适应设置中经验性地分析了代表性的元学习算法，并从任务相似性的角度提供了深入的分析。实验结果表明，MPT的改进在分类任务中显著。

Feb, 2023

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在23个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有0.035％的特定于任务的参数被调整。

Mar, 2023

本文提出了一种动态提示策略(DP)来优化LMs的prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明DP能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

Mar, 2023

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

Feb, 2024

通过多空间投影和提示融合的方式，我们提出了一种高效的提示调整方法（EPT），旨在解决平衡准确性和效率的问题，同时提升语言模型在不同下游任务上的表现。实验结果表明，相对改进百分比高达28.8％，训练时间减少了14％。

May, 2024