本文考察了使用预训练的语言模型进行 Prompt tuning (PT)的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

Nov, 2021

本论文提出了一种名为 ATTEMPT 的新型多任务、参数高效的语言模型微调方法，通过简短的前缀嵌入向量预先训练不同任务，学习跨任务传递知识。该方法通过源提示的编码，在每个实例中对目标任务进行源提示和新初始化的目标提示的插值训练注意力模块。在训练期间，仅更新目标任务提示和注意权重，同时保持原始语言模型和源提示不变。实验结果表明，ATTEMPT 显著优于提示微调，并优于或匹配完全微调或使用超过十倍参数的其他参数高效调整方法。最后，在少次学习设置下，ATTEMPT 优于以前的工作。

May, 2022

本文提出了一种名为 Multi-task Pre-trained Modular Prompt (MP2) 的方法，通过预训练可组合的 prompts 并进行选择性的激活和组合，加强 Prompt Tuning 在 few-shot learning 的应用。通过 Black-box tuning 和 Gradient descent 两种学习方式的实验，表明 MP2 在 few-shot 设置下明显优于 Prompt Tuning、Full model Tuning 以及先前的 Prompt pre-training 方法。此外，我们还证明了 MP2 可以通过学习仅有 8 个参数来实现令人惊讶的快速适应 Downstream tasks。

Oct, 2022

本文关注于如何提高Prompt tuning在few-shot learning任务中的性能。作者们实现了带有多种source prompts的简单方法，通过进行模型输出的组合来达到更好的性能，并提出了Sample-specific Ensemble of Source Models (SESoM)方法。他们在八个NLP任务上进行了实验，通过一个大的优势超越了相同和大型参数规模的现有模型。

Oct, 2022

本文提出了一种多任务视觉语言提示调整（MVLPT）方法，将跨任务知识纳入提示调整算法中，其结果在 20 个视觉任务上的表现优于现有方法。

Nov, 2022

本文研究了元提示调整（meta prompt tuning）来探索元学习如何通过学习从其他相关任务中初始化提示嵌入来帮助改善PT中的跨任务推广。我们在广泛的适应设置中经验性地分析了代表性的元学习算法，并从任务相似性的角度提供了深入的分析。实验结果表明，MPT的改进在分类任务中显著。

Feb, 2023

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在23个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有0.035％的特定于任务的参数被调整。

Mar, 2023

通过关键参数的优化和初始化，我们提出了一种改进的视觉提示调整方法，用于优化预训练模型在下游任务中的性能表现，并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。

Feb, 2024

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

Feb, 2024

本研究解决了现有软提示方法在多任务情况下需重复训练的问题，提出了通过软提示的调优权重与随机初始化权重之间的元素差异构建任务提示向量的新方法。实验表明，任务提示向量能够在低资源环境下有效初始化相似任务的提示调优，并且与随机初始化无关，从而在多个任务的加法运算中表现优于某些先进基线。

Aug, 2024