Oct, 2023

利润：联邦提示调优中个性化和鲁棒性权衡的基准化

PDF
TL;DR在联邦学习中，通过有限的本地更新和计算限制，对大型语言模型进行 FEFT（参数高效微调）时，需要平衡个性化和鲁棒性之间的权衡，研究结果表明采用小学习速率和许多局部训练轮次进行个性化时，联邦训练的提示可以在很大程度上保持鲁棒性。
federated learningpersonalizationrobustnessparameter-efficient fine-tuninglarge language models
发现论文，激发创造
  • 通过客户特定的提示生成在联邦学习中进行高效模型个性化

    我们提出了一种新型的个性化联邦学习框架 pFedPG，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。

    Aug, 2023

  • 具有参数高效的提示调整和自适应优化的大规模语言模型联合学习

    FedPepTAO 是一种参数高效的提示调优方法，采用自适应优化来实现高效且有效的大语言模型的联邦学习，通过改进性能和效率的同时解决设备和服务器端的客户漂移问题。

    Oct, 2023

  • FedBPT: 大型语言模型的高效联邦式黑盒提示调整

    该论文介绍了一种名为 Federated Black-box Prompt Tuning (FedBPT) 的框架，通过优化提示语并利用无梯度的优化方法，实现了在保护隐私的前提下，减少模型参数交互、提升通信效率、降低计算和存储成本，从而有效地进行预训练语言模型的细调。

    Oct, 2023

  • 联邦学习中的测试时间鲁棒个性化

    本研究提出了 Federated Test-time Head Ensemble 方法以提高 Federated Learning 模型在部署期间的测试鲁棒性，并在 CIFAR10 和 ImageNet 数据集上展示了其优越性能。同时，也建立了一个评估个性化 FL 方法在部署期间性能和健壮性的基准。

    May, 2022

  • 当联邦学习遇到预训练语言模型的参数高效调整方法

    本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

    Dec, 2022

  • FedPrompt: 基于联邦学习的高效通信和隐私保护 Prompt 调整

    本文提供了一种名为 FedPrompt 的新方法，将 prompt tuning 和 federated learning (FL) 相结合，以在保护数据隐私的同时提高 FL 方法的效率。该方法在传统方法的基础上使用模型拆解聚合的方式来使用 prompt tuning，证明了这种方法减小了大量的通信成本，同时在 IID 和 Non-IID 数据分布上保证准确性，并且在实验中进一步证明了该方法的可靠性。

    Aug, 2022

  • 具有群组感知提示调整的异构联邦学习

    在联邦学习中，我们利用预训练的 Transformer 和高效的提示调整策略，通过引入学习共享和组特定提示的概念，使全局模型能够自动适应各种局部客户数据分布，从而有效地弥合全局和个性化本地模型之间的差距，并超越以往无法适应之前未见客户的其他方法。

    Oct, 2023

  • 自我感知个性化联邦学习

    本论文提出了一种自我感知的个性化联邦学习方法，通过采用贝叶斯分层模型，利用不确定性量化来平衡本地模型改进和全局模型调整，使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究，该方法显著提高了个性化性能。

    Apr, 2022

  • FedSelect：个性化联邦学习的参数定制选择

    本文提出了一种新的联邦学习框架，名为 FedSelect，可以通过发现最佳参数进行个性化，并同时进行其他参数进行全局聚合，以此同时地个性化客户子网络结构和参数。

    Jun, 2023

  • 动态个性化联邦学习与激励

    本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。

    Aug, 2022