Jun, 2024

去中心化个性化联邦学习

HTML
PDF
TL;DR通过在分散式联邦学习中创建协作图，选择适合的合作方，从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题，提高资源效率。与传统方法不同，我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴，增强个性化同时最小化通信开销。我们通过使用约束贪婪算法的双层优化框架实现这一目标，从而为个性化学习提供资源高效的协作图。通过在各种基准数据集上进行大规模评估，我们证明了我们的方法DPFL在处理实际数据异构性、最小化通信开销、提高资源效率以及在分散式联邦学习场景中构建个性化模型方面的优越性。
发现论文，激发创造
  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 个性化联邦学习与一阶模型优化

    本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

    Dec, 2020

  • DisPFL：去中心化稀疏训练，实现通信高效的个性化联邦学习

    提出了一种基于去中心化通信协议的个性化联邦学习框架，利用个性化稀疏掩码为每个用户的本地模型进行定制，进一步节省通信和计算成本，并在不同复杂度的本地客户端上达到更好的个性化性能。

    Jun, 2022

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为DFedAlt的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 探索个性化联邦学习的黑盒基础模型：ZooPFL

    当个性化联邦学习 (FL) 遇到大型基础模型时，面临着资源限制的多种挑战。本文提出了一种名为 ZOOPFL 的方法，使用零阶优化来解决限制资源和个性化之间的挑战，通过简单而有效的线性投影实现预测和个性化，并通过输入手术方法减少计算成本和增强个性化。在流行的基础模型上进行的广泛实验表明，ZOOPFL 对于黑盒基础模型的 FL 具有很好的效果。

    Oct, 2023

  • 基于聚类的动态图传播重新思考个性化联邦学习

    提出了一个简单而有效的个性化联邦学习框架，通过将客户端分组为多个集群并基于服务器端的模型训练状态和数据分布构建连接集群的图，使用加权边更新节点的模型参数，然后设计了一种精确的个性化模型分配策略，以允许客户端从服务器端获取最合适的模型。在三个图像基准数据集和三种类型的合成结构化数据集上进行了实验，实验结果证明了该方法的有效性。

    Jan, 2024

  • DFML：分散式联邦互联学习

    我们提出了一种无服务器的去中心化联邦互联模型学习（DFML）框架，通过相互学习和循环改变监督和蒸馏信号的量，有效处理模型和数据异构性，并在各种条件下，在收敛速度和全局准确性上优于流行基准。

    Feb, 2024

  • 基于条件稀疏到更稀疏方案的去中心化个性化联邦学习

    提出了一种新颖的DA-DPFL稀疏到更稀疏的训练方案，通过动态聚合逐渐减少模型参数，从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低，并在测试准确性上明显优于DFL基准。

    Apr, 2024

  • 个性化联邦学习的分散指导协作

    个性化联邦学习（PFL）在每个客户端寻找最优个性化模型，我们提出了一种分布式的个性化联邦学习（DPFL）框架，通过引入随机梯度推送和部分模型个性化，实现了线性分类器的个性化，达到了更好的收敛速度。

    May, 2024

  • 统计异质性下的协作机器学习算法

    本研究针对在统计异质性条件下的协作机器学习中的数据分布问题，提出了三种创新算法以应对这一挑战。研究表明，所提出的方法可以有效缓解数据去中心化环境中的统计异质性问题，增强了协作学习系统的实用性和效率。

    Jul, 2024