通过插入可学习的嵌入或软提示到预训练语言模型 (PLM) 的输入层，Soft Prompt Tuning (SPT) 是一种将 PLM 调适到特定任务的参数高效方法，无需修改其参数。本文研究了 SPT 在跨语言传递中的潜力，并通过冻结模型参数并只训练软提示以保持 SPT 的参数高效性，不仅减少了计算成本和存储开销，还证明了这一特性能够增强对语言上远离的语言的跨语言传递性能。此外，我们还探索了与软提示相关的不同因素（如长度或重新参数化）对跨语言传递性能的影响。

Feb, 2024

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

Feb, 2024

SPT 是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过 Fine-Tuning GLUE 数据集以及在五个自然语言处理任务类别下评估零 - shot 泛化以及在 SuperGLUE 数据集上预训练，众多实验证明了其有效性。

Dec, 2022

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在 23 个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有 0.035％的特定于任务的参数被调整。

Mar, 2023

本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

Nov, 2021

通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的 “任务语义” 可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集 “任务语义” 可以进一步增强转移的泛化能力。

Oct, 2023

研究了 prompt learning 对临床应用决策任务的可行性，并与传统的微调方法进行了直接比较。结果部分符合 prompt learning 文献，提示学习能够在可训练参数更少和需要更少的训练数据的情况下与传统微调相匹配或改进，可以作为一种可替代越来越大的预训练语言模型微调的较低计算资源成本，适用于临床环境。

May, 2022

本文关注于如何提高 Prompt tuning 在 few-shot learning 任务中的性能。作者们实现了带有多种 source prompts 的简单方法，通过进行模型输出的组合来达到更好的性能，并提出了 Sample-specific Ensemble of Source Models (SESoM) 方法。他们在八个 NLP 任务上进行了实验，通过一个大的优势超越了相同和大型参数规模的现有模型。

Oct, 2022

该研究提出了一种新的度量方法和 PANDA 方法来解决预训练语言模型中的 prompt 转移问题，PANDA 方法使用知识蒸馏技术来迁移源 prompt 中的知识到目标 prompt 中，从而避免源知识的灾难性遗忘。实验证明，该方法在各种 PLM 尺度场景下的性能均优于传统的 prompt 转移方法和模型调参方法。

Aug, 2022