Jun, 2023

FedDec：基于点对点协助的联邦学习

PDF
TL;DR这篇论文提出了一种名为 FedDec 的算法，通过在 FL 的本地梯度更新之间交错点对点通信和参数平均化的方式，利用跨代理通信来改善 FL 的性能，证明了该算法在数据异构性、设备部分参与和光滑且强凸成本的假设下收敛，并表明代理间通信图谱的谱会改善收敛。
federated learningdata heterogeneityinter-agent communicationconvergence analysisdecentralized learning
发现论文，激发创造
  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • Dirichlet 分布异构数据的 FedAvg 和 Per-FedAvg 算法的比较评估

    该研究调查了联邦学习（FL）这一机器学习范式，允许在不共享原始数据的设备上进行分散模型训练，从而保护数据隐私。我们比较了该范式内的两种策略：联邦平均（FedAvg）和个性化联邦平均（Per-FedAvg），重点关注它们在非独立同分布数据（Non-IID）条件下的性能。我们的分析显示，使用狄利克雷分布建模的数据异质性水平显著影响两种策略的性能，在高异质性条件下，Per-FedAvg 表现出更强的健壮性。我们的结果为在分散环境下开发更有效和高效的机器学习策略提供了见解。

    Sep, 2023

  • 预处理联邦学习

    在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

    Sep, 2023

  • 针对非均匀和时变通信的 FedAvg 偏差校正

    本文主要研究联邦学习中的非凸优化问题，提出了一种简单的算法 FedPBC 来解决在通信不稳定情况下 Federated Average 无法最小化全局目标函数的问题。该算法通过延迟全局模型广播来实现隐式的客户之间的消息传递，从而达到了预期的收敛特性。

    Jun, 2023

  • 无协调的复杂网络分散式联邦学习：克服异构性

    在高度普及的边缘场景中，缺乏中央控制器和预定的设备连接导致了复杂的网络结构，我们提出了一种通信高效的分散式联邦学习（DFL）算法来解决由数据和不同训练历史引起的异构学习难题，研究结果表明，与竞争方法相比，我们的解决方案能够训练出更好的本地模型并且在通信效率上更为优越。

    Dec, 2023

  • 使用递减本地 SGD 步骤的更快联邦学习

    本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。

    May, 2023

  • 个性化联邦学习的分散指导协作

    个性化联邦学习（PFL）在每个客户端寻找最优个性化模型，我们提出了一种分布式的个性化联邦学习（DPFL）框架，通过引入随机梯度推送和部分模型个性化，实现了线性分类器的个性化，达到了更好的收敛速度。

    May, 2024

  • 无线联邦学习与优化

    使用过空中计算的联邦学习方法，研究了在无线网络上进行联邦学习时由于信道衰落和噪声引起的模型聚合误差，包括收敛性、影响、收敛速率、传输方案和通信效率等方面，并通过仿真验证了理论结论。

    Oct, 2023

  • 基于分散数据通信高效学习深度网络

    Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

    Feb, 2016

  • 基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

    该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。

    Aug, 2020