研究预训练语言模型的 prompt tuning，从通用性和有限深度固定权重的预训练 transformers 的限制方面分析了 prompt tuning 的作用，证明了 prompt tuning 在有限深度 transformers 中存在限制，并给出了所需的可调 prompt 参数的下限。

May, 2023

深度图形提示微调是一种替代微调的创新方法，通过在图中引入可训练的特征节点和预处理特定任务的令牌，增强模型的表达能力，从而在小型数据集和大型图形上可扩展地减少自由参数的数量并消除了多个模型副本的需求。

Sep, 2023

通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

Oct, 2021

该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

Oct, 2022

本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。

Jun, 2023

通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

本文研究了如何有效地在联邦学习中使用预训练 Transformer 模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉 - 语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。

Nov, 2022

本研究揭示了未经审查的 Prompt tuning 选择对持续学习系统的整体性能产生负面影响，使用 LoRA 替代 Prompt tuning 的变体在领域增量和类别增量基准上实现了更高的准确性，同时具有相似的推理速度。

Jun, 2024

本文提供了一种名为 FedPrompt 的新方法，将 prompt tuning 和 federated learning (FL) 相结合，以在保护数据隐私的同时提高 FL 方法的效率。该方法在传统方法的基础上使用模型拆解聚合的方式来使用 prompt tuning，证明了这种方法减小了大量的通信成本，同时在 IID 和 Non-IID 数据分布上保证准确性，并且在实验中进一步证明了该方法的可靠性。

Aug, 2022

本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

Sep, 2021