通过prompt tuning机制，使用backpropagation学习soft prompts以提升downstream tasks的性能，其中soft prompts可以与多个labeled examples相结合，这种方法比GPT-3的few-shot learning更有效，并且在语言模型规模达到10亿以上时，method的表现与model tuning相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

该研究提出了一种新的度量方法和PANDA方法来解决预训练语言模型中的prompt转移问题，PANDA方法使用知识蒸馏技术来迁移源prompt中的知识到目标prompt中，从而避免源知识的灾难性遗忘。实验证明，该方法在各种PLM尺度场景下的性能均优于传统的prompt转移方法和模型调参方法。

Aug, 2022

本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用prompt-tuning进行多语言NLU任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning在跨数据集跨语言传递方面比微调表现更好，而且只需调整0.1%到0.3%的参数。此外，分析表明，prompt tuning可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

Oct, 2022

本文关注于如何提高Prompt tuning在few-shot learning任务中的性能。作者们实现了带有多种source prompts的简单方法，通过进行模型输出的组合来达到更好的性能，并提出了Sample-specific Ensemble of Source Models (SESoM)方法。他们在八个NLP任务上进行了实验，通过一个大的优势超越了相同和大型参数规模的现有模型。

Oct, 2022

本论文提出了一种名为Fast Prompt Tuning的技术，通过将partial PLMs中的soft prompts转化到整个PLM中来提高prompt tuning（PT）的训练效率，该技术的应用可以在保持性能的同时节省30%的训练计算资源。

Nov, 2022

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在23个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有0.035％的特定于任务的参数被调整。

Mar, 2023

通过插入可学习的嵌入或软提示到预训练语言模型 (PLM) 的输入层，Soft Prompt Tuning (SPT) 是一种将 PLM 调适到特定任务的参数高效方法，无需修改其参数。本文研究了 SPT 在跨语言传递中的潜力，并通过冻结模型参数并只训练软提示以保持 SPT 的参数高效性，不仅减少了计算成本和存储开销，还证明了这一特性能够增强对语言上远离的语言的跨语言传递性能。此外，我们还探索了与软提示相关的不同因素（如长度或重新参数化）对跨语言传递性能的影响。

Feb, 2024

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

Feb, 2024

通过多空间投影和提示融合的方式，我们提出了一种高效的提示调整方法（EPT），旨在解决平衡准确性和效率的问题，同时提升语言模型在不同下游任务上的表现。实验结果表明，相对改进百分比高达28.8％，训练时间减少了14％。

May, 2024

使用参数高效的微调方法，结合语言特定和任务特定的适配器和软提示，改善跨语言自然语言处理应用的研究。通过对六种语言的详细研究，特别是三种低资源语言，首次使用软语言提示，我们发现将软语言提示与任务适配器相结合在许多情况下优于其他配置。

Jul, 2024