Mar, 2022

朝着有效的聚类联邦学习：带自适应邻居匹配的点对点框架

PDF
TL;DR本文提出了一种名为 PANM 的分布式学习算法，该算法适用于异构且分散的客户端，并通过对等通信自适应地形成一个有效的聚类拓扑结构。经过理论分析和大量实验证明，该算法的性能优于传统的集中式聚类 FL 方法和其他 P2P 方法。
federated learningclustered flpeer-to-peer flclient similaritymonte carlo method
发现论文，激发创造
  • 个性化联邦学习的分散指导协作

    个性化联邦学习（PFL）在每个客户端寻找最优个性化模型，我们提出了一种分布式的个性化联邦学习（DPFL）框架，通过引入随机梯度推送和部分模型个性化，实现了线性分类器的个性化，达到了更好的收敛速度。

    May, 2024

  • 基于异构模块化网络的个性化联邦学习

    Federated Modular Network (FedMN) is a novel Personalized Federated Learning approach that adapts to the joint distribution among local clients and produces personalized module block selection with a light-weighted routing hypernetwork, resulting in more effective and efficient learning compared to existing methods

    Oct, 2022

  • FedPNN: 基于进化聚类方法和概率神经网络混合的一次性联邦分类

    该研究提出了一种两阶段联邦学习方法，结合了改进后的 CTGAN 合成数据和 FedPNN 模型，采用元聚类和进化聚类方法，实现了在保护数据隐私的同时获取全局共享模型。

    Apr, 2023

  • 具有位置感知神经元的联邦学习

    本文提出了一种新的神经元类型 —— 位置感知神经元 (PANs)，能在联合学习中使不同节点间的参数对齐，从而实现精准的参数平均，并且其算法具有普适性和易于实现的优点。

    Mar, 2022

  • 面向用户的联合学习：以个性化为代价进行无线资源交换

    本文设计了以用户为中心的聚合规则，基于可用的梯度信息，为每个联邦学习客户端生成个性化模型，并得出了一种课通信高效的变体，以优于流行的个性化联邦学习基线的平均正确性，最差节点性能和训练通信开销。

    Apr, 2023

  • 个性化联邦学习的概率模型：一种 PAC-Bayesian 方法

    个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

    Jan, 2024

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 联邦与集中式学习的混合架构

    本文提出了一种更高效的混合联邦与集中学习（HFCL）方法来解决客户端计算资源不足的情况，该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器，从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。

    May, 2021

  • 非对称分散式联邦学习

    基于不对称拓扑结构和 Push-Sum 协议，DFedSGPSM 算法以解决共识优化问题为目标，结合 Sharpness Aware Minimization（SAM）优化器和本地动量，提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论分析证明在非凸平滑环境下，DFedSGPSM 算法以 O (1/√T) 的收敛速率收敛于全局最优解，而更好的拓扑连接性能会得到更严格的上界。在 MNIST、CIFAR10 和 CIFAR100 数据集上进行的大量实验表明，与最先进的优化器相比，我们的算法具有更优越的性能。

    Oct, 2023