本文考察了使用预训练的语言模型进行 Prompt tuning (PT)的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

Nov, 2021

该研究提出了一种新的度量方法和PANDA方法来解决预训练语言模型中的prompt转移问题，PANDA方法使用知识蒸馏技术来迁移源prompt中的知识到目标prompt中，从而避免源知识的灾难性遗忘。实验证明，该方法在各种PLM尺度场景下的性能均优于传统的prompt转移方法和模型调参方法。

Aug, 2022

本文探索了通过提示调整获得的软提示如何在零样本推理中协助硬提示，以实现任务泛化。结果表明，此简单方法仅增加了0.007％的额外参数，但在大型基准测试上提高了2.39％的平均准确率，对不同评估提示的准确性和鲁棒性有更好的排名。

Oct, 2022

本文关注于如何提高Prompt tuning在few-shot learning任务中的性能。作者们实现了带有多种source prompts的简单方法，通过进行模型输出的组合来达到更好的性能，并提出了Sample-specific Ensemble of Source Models (SESoM)方法。他们在八个NLP任务上进行了实验，通过一个大的优势超越了相同和大型参数规模的现有模型。

Oct, 2022

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在23个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有0.035％的特定于任务的参数被调整。

Mar, 2023

本文提出了一种称为PromptSRC的自正则化框架，以指导提示对特定任务和特定不可知通用表示进行优化，通过三种方法实现互相协调的学习，从而最大化下游任务的表现而不损害CLIP泛化能力。

Jul, 2023

我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的“任务语义”可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集“任务语义”可以进一步增强转移的泛化能力。

Oct, 2023

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

Feb, 2024

根据给定的训练样本和基本描述，我们将提示优化问题视为从训练样本集中学习任务的多个方面，并发现了提示优化问题中的结构，提出了UniPrompt算法，通过生成模型生成初始候选提示部分，并使用反馈机制将多个小批次的建议编辑聚合成一个概念描述，实验证明UniPrompt生成的提示比人工调优的提示和最先进方法的提示具有更高的准确性。

Jun, 2024

本研究解决了多任务提示调优在知识转移方面的性能不足问题。提出了一种新的方法，将目标任务的提示分解为共享提示和特定任务提示，通过组合来优化最终提示。在少样本设置下，该方法显著提高了准确性和稳健性，相较于传统提示调优方法和其他相关研究，显示出更优越的表现。

Aug, 2024