Aug, 2022

FedPrompt: 基于联邦学习的高效通信和隐私保护 Prompt 调整

PDF
TL;DR本文提供了一种名为 FedPrompt 的新方法，将 prompt tuning 和 federated learning (FL) 相结合，以在保护数据隐私的同时提高 FL 方法的效率。该方法在传统方法的基础上使用模型拆解聚合的方式来使用 prompt tuning，证明了这种方法减小了大量的通信成本，同时在 IID 和 Non-IID 数据分布上保证准确性，并且在实验中进一步证明了该方法的可靠性。
federated learningprompt tuningpre-trained language modelsnatural language processingdata privacy
发现论文，激发创造
  • 可调的软提示是联邦学习中的信使

    通过可调整的软提示实现参与者之间的信息交流，以在损失较少的全局模型的基础上保护全局模型，减少联邦学习中的通信和计算成本。

    Nov, 2023

  • FedBPT: 大型语言模型的高效联邦式黑盒提示调整

    该论文介绍了一种名为 Federated Black-box Prompt Tuning (FedBPT) 的框架，通过优化提示语并利用无梯度的优化方法，实现了在保护隐私的前提下，减少模型参数交互、提升通信效率、降低计算和存储成本，从而有效地进行预训练语言模型的细调。

    Oct, 2023

  • 具有参数高效的提示调整和自适应优化的大规模语言模型联合学习

    FedPepTAO 是一种参数高效的提示调优方法，采用自适应优化来实现高效且有效的大语言模型的联邦学习，通过改进性能和效率的同时解决设备和服务器端的客户漂移问题。

    Oct, 2023

  • 当联邦学习遇到预训练语言模型的参数高效调整方法

    本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

    Dec, 2022

  • 联邦学习中的包容性数据表示：将文本与视觉提示集成的新方法

    联邦学习经常受到通信开销问题的阻碍。为了解决这个问题，我们提出了双提示联邦学习（TPFL），它整合了视觉和文本模态以更全面地描绘本地客户端数据特征。此外，为了应对数据异质性问题，我们引入了增强型 TPFL（ATPFL），并采用对比学习技术，不仅增强了客户端模型的全局知识获取能力，还促进了稳健、紧凑模型的发展。我们的详尽评估结果表明，TPFL 和 ATPFL 相比于所有基准模型始终表现出更优异的性能。

    Oct, 2023

  • 具有群组感知提示调整的异构联邦学习

    在联邦学习中，我们利用预训练的 Transformer 和高效的提示调整策略，通过引入学习共享和组特定提示的概念，使全局模型能够自动适应各种局部客户数据分布，从而有效地弥合全局和个性化本地模型之间的差距，并超越以往无法适应之前未见客户的其他方法。

    Oct, 2023

  • 利润：联邦提示调优中个性化和鲁棒性权衡的基准化

    在联邦学习中，通过有限的本地更新和计算限制，对大型语言模型进行 FEFT（参数高效微调）时，需要平衡个性化和鲁棒性之间的权衡，研究结果表明采用小学习速率和许多局部训练轮次进行个性化时，联邦训练的提示可以在很大程度上保持鲁棒性。

    Oct, 2023

  • 黑盒大型预训练模型的高效联邦迁移调整

    基于预训练模型，提出了一种去中心化的黑盒提示调整方法，解决了内存约束和数据隐私问题，并在 CV 和 NLP 任务上进行了全面评估。

    Oct, 2023

  • 通过客户特定的提示生成在联邦学习中进行高效模型个性化

    我们提出了一种新型的个性化联邦学习框架 pFedPG，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。

    Aug, 2023

  • FedHPL：高效异构联邦学习中的提示调整和逻辑蒸馏

    基于 Prompt 调优和 Logit 蒸馏的参数高效统一的异构联邦学习框架 FedHPL 能够有效应对异构挑战，改善模型性能和加速训练，在多种数据集和模型设置下，性能优于当前最先进的联邦学习方法。

    May, 2024