通过 prompt tuning 和 prefix-tuning，本论文探讨了预训练模型能否被任意修改以逼近序列到序列函数，证明了通过加前缀可以使比先前认为的更小的预训练模型成为普遍逼近模型。此外，本论文还给出了逼近函数所需前缀长度的限制。

Feb, 2024

通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

Oct, 2021

通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。

Jun, 2023

本文探讨将 Prompt 调参应用于多模态预训练，使用基于生成模型的统一序列到序列的预训练模型，实现轻量级 Prompt 调参，并与微调进行比较，通过实验研究发现 Prompt 调参具有改善鲁棒性的优点，但也存在一些局限性，给出了未来研究的方向。

Aug, 2022

本研究提出了一种新型的调参方法，称为层调参，通过在 Transformer 层中添加可学习的参数来调整预训练语言模型，在 CLUE 基准数据集上的实验结果表明，FL-tuning 方法优于现有的 prompt tuning 方法，并且比 fine-tuning 方法更加稳定和快速。

Jun, 2022

本文针对单层的注意力机制和上下文混合模型，探究了 Prompt-tuning 的策略，并分析了 Prompt 在梯度下降过程中学到的规律和其在上下文中的表现，最终提出了有关 Prompt-tuning 的理论解释和实验验证。

Jun, 2023

该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

Oct, 2022

本研究首次探讨了基于生成式口语语言模型 (GSLM) 的提示调整范式用于语音处理任务，实验结果表明，与下游精细调整模型相比，提示调整技术使用的可调参数更少，在语音分类任务中实现了较高性能。

Mar, 2022

本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

Oct, 2022