该论文介绍了一种名为 Federated Black-box Prompt Tuning (FedBPT) 的框架，通过优化提示语并利用无梯度的优化方法，实现了在保护隐私的前提下，减少模型参数交互、提升通信效率、降低计算和存储成本，从而有效地进行预训练语言模型的细调。
Oct, 2023
本论文提出了一种名为 Fast Prompt Tuning 的技术，通过将 partial PLMs 中的 soft prompts 转化到整个 PLM 中来提高 prompt tuning（PT）的训练效率，该技术的应用可以在保持性能的同时节省 30% 的训练计算资源。
Nov, 2022
本文提供了一种名为 FedPrompt 的新方法，将 prompt tuning 和 federated learning (FL) 相结合，以在保护数据隐私的同时提高 FL 方法的效率。该方法在传统方法的基础上使用模型拆解聚合的方式来使用 prompt tuning，证明了这种方法减小了大量的通信成本，同时在 IID 和 Non-IID 数据分布上保证准确性，并且在实验中进一步证明了该方法的可靠性。
Aug, 2022
本研究介绍了改进版本的黑盒调参法 BBTv2，将连续的提示优化到每一层的预训练模型中，并提出了一种分治的无梯度算法，以可比的性能在少样本学习下替代全模型调参和其他方法。
May, 2022
FedPepTAO 是一种参数高效的提示调优方法，采用自适应优化来实现高效且有效的大语言模型的联邦学习，通过改进性能和效率的同时解决设备和服务器端的客户漂移问题。
本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。
Dec, 2022
本文提出黑盒优化框架来通过无导数优化预定义的任务提示，从而在使用预训练语言模型的服务化环境中实现更好的性能。在随机生成的子空间中进行优化，使得黑盒优化框架可以在 RoBERTa 上优化任务提示，并在少量标记样本上显着优于手动提示和 GPT-3 的上下文学习以及梯度优化方法。
Jan, 2022
通过合作式黑盒调整，本研究介绍一种参数高效微调方法，用于对视觉语言模型进行特定任务或场景的适应。使用文本提示优化和输出特征调整来处理闭源模型的访问障碍，并在十一个下游基准测试中得到显著改进。
Dec, 2023
本研究介绍了一种名为 Federated Dual Prompt Tuning (Fed-DPT) 的新方法，利用预训练的视觉 - 语言模型并应用视觉和文本提示调整来解决领域移位问题，并通过实验证明了其在领域感知的联邦学习中的重要有效性。
在联邦学习中，通过有限的本地更新和计算限制，对大型语言模型进行 FEFT（参数高效微调）时，需要平衡个性化和鲁棒性之间的权衡，研究结果表明采用小学习速率和许多局部训练轮次进行个性化时，联邦训练的提示可以在很大程度上保持鲁棒性。