通过合成数据洗牌加速异构数据情况下联邦学习的收敛

Jun, 2023

通过合成数据洗牌加速异构数据情况下联邦学习的收敛

Synthetic data shuffling accelerates the convergence of federated learning under data heterogeneity

Bo Li, Yasin Esfandiari, Mikkel N. Schmidt, Tommy S. Alstrøm, Sebastian U. Stich

TL;DR本文研究了联邦学习中数据异构性的挑战，提出了通过对实验数据进行部分重洗来优化收敛率的方法。通过本文提出的理论方法，我们证明了重洗可以显着减少数据的不同之处，从而加快收敛速度，本研究提出了一种使用本地生成的合成数据进行重洗的实际方法，并证明了通过该方法可以显著提高多个现有联邦学习算法的性能。

Abstract

In federated learning, data heterogeneity is a critical challenge. A straightforward solution is to shuffle the clients' data to homogenize the distribution. However, this may violate data access rights, and how

federated learning data heterogeneity convergence rate shuffling synthetic data

发现论文，激发创造

通过梯度多样性最大化解决联邦优化的混合异质性问题

研究了混合异构性如何影响联邦优化，通过调查服务器端优化表明，自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响，引入了具有理论保证的新型基于梯度的优化器 FedAWARE，通过在异构联邦设置中进行大量实验表明，我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。

Oct, 2023

重新思考联邦学习中的数据异质性：引入新概念和标准基准

我们研究了数据异质性对联邦学习的影响，发现许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。我们研究发现，当前设置中的数据异质性不一定是问题，事实上，它对 FL 参与者有益。

Sep, 2022

FedShift: 通过权重偏移聚合解决联邦学习的双重异质问题

FedShift 是一种新颖的算法，旨在在双重异质性情况下提高训练速度和模型的准确性，通过量化和移位技术改善客户参与度，并提升在异质性环境中的准确性 3.9%。

Feb, 2024

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

通过合成数据进行联邦学习

在联邦学习中，通过传输合成数据而不是模型参数实现通信代价大幅降低和模型效果最小化的方法。

Aug, 2020

改进的联邦数据集建模：使用狄利克雷 - 多项式混合模型

本文研究如何将中心化数据进行划分以反映真实联邦客户端的统计异质性，并提出了一种完全联邦且有理论依据的算法，通过使用推断的分布从中心化数据创建模拟客户端，实现了改进的服务器端模拟。

Jun, 2024

基于零样本数据增强的公平联邦学习

邻联学习是一种处理分布式学习问题的重要方法，该论文提出了一种新的邻联学习系统，通过使用零样本数据增强来解决客户端数据统计异质性的问题，以提高联邦网络中客户端之间的精度一致性和公平性。

Apr, 2021

异构网络中的联邦优化

本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

Dec, 2018

FedSym：释放熵的力量以便对联邦学习算法进行基准测试

我们研究了当前流行的数据分区技术，发现它们存在数据多样性不准确和无法挑战联邦学习算法的问题。为了解决这个问题，我们提出了一种使用熵和对称性构建最具挑战性和可控数据分布的方法，并引入了衡量学习代理之间数据异质性的度量。通过比较研究，我们证明了我们的方法优于现有的联邦学习数据分区方法，展示了其挑战模型聚合算法的潜力。实验结果表明，我们的方法逐渐挑战联邦学习策略，并且 FedSym 分布训练的模型更加独特。

Oct, 2023

因子辅助的个性化异构数据联邦学习优化

Federated learning aims to protect data privacy, and this paper proposes FedSplit, a personalized federated learning framework addressing the challenge of data heterogeneity by splitting hidden elements into shared and personalized groups, optimizing with a novel objective function. Additionally, factor analysis is introduced to decouple hidden elements, resulting in a practically implemented model referred to as FedFac, which demonstrates superior prediction performance compared to other state-of-the-art federated learning methods on real datasets.

Dec, 2023