Oct, 2023

FedBPT: 大型语言模型的高效联邦式黑盒提示调整

PDF
TL;DR该论文介绍了一种名为 Federated Black-box Prompt Tuning (FedBPT) 的框架，通过优化提示语并利用无梯度的优化方法，实现了在保护隐私的前提下，减少模型参数交互、提升通信效率、降低计算和存储成本，从而有效地进行预训练语言模型的细调。
pre-trained language modelsfine-tuningdata adaptationfederated learningprivacy-preserving
发现论文，激发创造
  • 黑盒大型预训练模型的高效联邦迁移调整

    基于预训练模型，提出了一种去中心化的黑盒提示调整方法，解决了内存约束和数据隐私问题，并在 CV 和 NLP 任务上进行了全面评估。

    Oct, 2023

  • FedPrompt: 基于联邦学习的高效通信和隐私保护 Prompt 调整

    本文提供了一种名为 FedPrompt 的新方法，将 prompt tuning 和 federated learning (FL) 相结合，以在保护数据隐私的同时提高 FL 方法的效率。该方法在传统方法的基础上使用模型拆解聚合的方式来使用 prompt tuning，证明了这种方法减小了大量的通信成本，同时在 IID 和 Non-IID 数据分布上保证准确性，并且在实验中进一步证明了该方法的可靠性。

    Aug, 2022

  • 当联邦学习遇到预训练语言模型的参数高效调整方法

    本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

    Dec, 2022

  • 具有参数高效的提示调整和自适应优化的大规模语言模型联合学习

    FedPepTAO 是一种参数高效的提示调优方法，采用自适应优化来实现高效且有效的大语言模型的联邦学习，通过改进性能和效率的同时解决设备和服务器端的客户漂移问题。

    Oct, 2023

  • 利润：联邦提示调优中个性化和鲁棒性权衡的基准化

    在联邦学习中，通过有限的本地更新和计算限制，对大型语言模型进行 FEFT（参数高效微调）时，需要平衡个性化和鲁棒性之间的权衡，研究结果表明采用小学习速率和许多局部训练轮次进行个性化时，联邦训练的提示可以在很大程度上保持鲁棒性。

    Oct, 2023

  • 面向预训练语言模型的黑盒提示学习

    本文提出了一种针对预训练语言模型的黑盒离散提示学习方法，实现了在云端和边缘设备之间的高效协作，并在此基础上对各种数据大小、提示长度、训练预算、优化目标、提示可转移性和解释方面进行了深入的案例研究，证明了该算法在 8 个基准测试中取得了显著的改进。

    Jan, 2022

  • 通过客户特定的提示生成在联邦学习中进行高效模型个性化

    我们提出了一种新型的个性化联邦学习框架 pFedPG，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。

    Aug, 2023

  • 可调的软提示是联邦学习中的信使

    通过可调整的软提示实现参与者之间的信息交流，以在损失较少的全局模型的基础上保护全局模型，减少联邦学习中的通信和计算成本。

    Nov, 2023

  • 领域感知联邦学习的双提示调优

    本研究介绍了一种名为 Federated Dual Prompt Tuning (Fed-DPT) 的新方法，利用预训练的视觉 - 语言模型并应用视觉和文本提示调整来解决领域移位问题，并通过实验证明了其在领域感知的联邦学习中的重要有效性。

    Oct, 2023

  • 通过渐进式训练提高提示调整效率的 FPT 模型

    本论文提出了一种名为 Fast Prompt Tuning 的技术，通过将 partial PLMs 中的 soft prompts 转化到整个 PLM 中来提高 prompt tuning（PT）的训练效率，该技术的应用可以在保持性能的同时节省 30% 的训练计算资源。

    Nov, 2022