本文提出了一种名为PPT的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

Sep, 2021

本论文提出了一种名为 ATTEMPT 的新型多任务、参数高效的语言模型微调方法，通过简短的前缀嵌入向量预先训练不同任务，学习跨任务传递知识。该方法通过源提示的编码，在每个实例中对目标任务进行源提示和新初始化的目标提示的插值训练注意力模块。在训练期间，仅更新目标任务提示和注意权重，同时保持原始语言模型和源提示不变。实验结果表明，ATTEMPT 显著优于提示微调，并优于或匹配完全微调或使用超过十倍参数的其他参数高效调整方法。最后，在少次学习设置下，ATTEMPT 优于以前的工作。

May, 2022

本文提出了Instance-wise Prompt Tuning （IPT）方法，该方法是基于Prompt Learning的新型范式，利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息，并在多个任务和资源设置中显着优于任务为基础的Prompt Learning方法，达到仅有0.5％-1.5％调整参数时的基准微调性能。

Jun, 2022

该研究提出了一种名为Unified Schema Prompt的灵活可扩展的提示方法，通过利用每个任务的输入结构来自动自定义学习提示，以增强任务的泛化能力，并在一系列NLP任务中进行了实验验证。

Aug, 2022

本文研究了元提示调整（meta prompt tuning）来探索元学习如何通过学习从其他相关任务中初始化提示嵌入来帮助改善PT中的跨任务推广。我们在广泛的适应设置中经验性地分析了代表性的元学习算法，并从任务相似性的角度提供了深入的分析。实验结果表明，MPT的改进在分类任务中显著。

Feb, 2023

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在23个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有0.035％的特定于任务的参数被调整。

Mar, 2023

本文提出了一种动态提示策略(DP)来优化LMs的prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明DP能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

Mar, 2023

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

Feb, 2024

通过多空间投影和提示融合的方式，我们提出了一种高效的提示调整方法（EPT），旨在解决平衡准确性和效率的问题，同时提升语言模型在不同下游任务上的表现。实验结果表明，相对改进百分比高达28.8％，训练时间减少了14％。

May, 2024

本研究解决了现有软提示方法在多任务情况下需重复训练的问题，提出了通过软提示的调优权重与随机初始化权重之间的元素差异构建任务提示向量的新方法。实验表明，任务提示向量能够在低资源环境下有效初始化相似任务的提示调优，并且与随机初始化无关，从而在多个任务的加法运算中表现优于某些先进基线。

Aug, 2024