Oct, 2023

探索个性化联邦学习的黑盒基础模型：ZooPFL

PDF
TL;DR当个性化联邦学习 (FL) 遇到大型基础模型时，面临着资源限制的多种挑战。本文提出了一种名为 ZOOPFL 的方法，使用零阶优化来解决限制资源和个性化之间的挑战，通过简单而有效的线性投影实现预测和个性化，并通过输入手术方法减少计算成本和增强个性化。在流行的基础模型上进行的广泛实验表明，ZOOPFL 对于黑盒基础模型的 FL 具有很好的效果。
personalized federated learningzoopflzeroth-order optimizationfoundation modelsinput surgery
发现论文，激发创造
  • 基于联邦学习的可共享特征训练方法，用于友好个性化图像分类

    本文提出了一种新的个性化联邦学习框架 ——FedBasis，它学习一组共享的 “基础” 模型，可以线性组合形成客户定制的模型，从而实现在低数据情况下减少推断成本，同时提高参数效率和鲁棒性。

    Apr, 2023

  • 基于级联混合优化的安全快速异步竖直联邦学习

    本文提出了一个级联混合优化方法来加速零阶优化算法，从而解决基于零阶优化的垂直联邦学习算法的收敛速度慢的问题。该算法在较大模型的训练中非常有效，且具有相当的隐私保护水平。

    Jun, 2023

  • 联邦学习的进展：模型、方法和隐私

    本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

    Feb, 2023

  • 基于高效联邦学习方法的基础模型训练调研

    Federated Learning (FL) 的研究论文主要讨论了在隐私保护的协作训练中应用小型深度学习模型的新方法以及在 FL 应用中操作基于 transformer 模型的必要性，介绍了一种专注于 FL 应用中计算和通信效率方法的新的分类法，并探讨了当前广泛使用的 FL 框架的现状以及基于现有 FL 研究方法的未来研究潜力。

    Jan, 2024

  • 个性化联邦学习基于堆叠

    使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

    Apr, 2024

  • 低维特征空间内有效个性化联邦学习的实现

    基于低维特征空间的个性化联邦学习（Personalized Federated Learning，PFL）框架，通过选择每个客户端自适应其本地数据分布下全局编码器生成的特征中与任务相关的特征，提供了比参数空间更易理解和解释的 PFL 实现方法。FedPick 在跨领域的联邦学习中能够为每个客户端有效选择与任务相关的特征并提高模型性能。

    Jul, 2023

  • 异构和长尾数据上的多层个性化联邦学习

    MuPFL 是一种创新的个性化联邦学习框架，通过多层次结构完全利用不同层次的计算资源，解决数据异质性对模型偏差的影响，缓解过拟合、加速训练，提高分类准确性，并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。

    May, 2024

  • 渲染有用的无线环境：一种零阶随机联邦学习方法

    利用通信高效的框架，我们提出了一种新颖的、基于零阶方法的联邦学习（ZOFL）框架，通过利用无线通信信道的特性，在学习算法本身中包含无线信道，而无需分析并消除其影响。

    Jan, 2024

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • Fed-ZERO: 基于联邦专家混合的零样学习个性化方案

    本文提出了一种在 Federated Learning 框架下使用混合专家（Mixture-of-Experts）框架来实现零 - shot 个性化的方法。使用此方法时，我们的模型在保持零 - shot 表现的同时，可以在端到端过程中加入预训练模型的知识以增强其路由决策，并在常见的 FL 基准测试中使性能提高 18%。

    Jun, 2023