特征标准化正则化的联邦学习：将不均衡的分布转化为全局洞察

Dec, 2023

特征标准化正则化的联邦学习：将不均衡的分布转化为全局洞察

Feature Norm Regularized Federated Learning: Transforming Skewed Distributions into Global Insights

Ke Hu, WeiDong Qiu, Peng Tang

TL;DR在联邦学习领域，解决非独立同分布的数据问题一直是提高全局模型性能的一个重要挑战。本文提出了特征范数正则化联邦学习（FNR-FL）算法，通过独特地结合类平均特征范数来增强在非独立同分布场景下的模型准确性和收敛性。我们的综合分析发现，相比其他现代联邦学习算法，FNR-FL 不仅加快了收敛速度，而且在特征分布不均衡的情况下显著提高了测试准确率。FNR-FL 的新颖模块化设计使其能与现有的联邦学习框架无缝集成，增强了其适应性和广泛应用的潜力。我们通过严格的实证评估确证了我们的论述，展示了 FNR-FL 在各种不均衡数据分布下的出色性能。相较于 FedAvg，FNR-FL 的准确率提升了 66.24％，训练时间显著减少了 11.40％，凸显了其提高效果和效率的优势。

Abstract

In the field of federated learning, addressing non-independent and identically distributed (non-i.i.d.) data remains a quintessential challenge for improving global model performance. This work introduces the Feature Norm Regularized →

federated learning non-i.i.d. data feature norm regularized federated learning model accuracy convergence

发现论文，激发创造

FedFN：解决联邦学习中的数据异质性问题的特征正态化

研究通过实验证明 FedFN 学习方法在训练模型时依然可以保持高效性能，尤其在面对数据异质性和特征表征等问题时表现优异。

Nov, 2023

FedBN：通过本地批量归一化在非独立同分布特征上进行联合学习

本研究提出了一种名为 FedBN 的有效方法，该方法使用本地批量归一化来减轻特征转移非独立同分布问题，并优于现有算法，促进联邦学习的收敛性。

Feb, 2021

一种简单的数据增强方法用于特征分布倾斜联邦学习

本文提出了一种名为 FedRDN 的数据增强方法，通过将来自整个联邦系统的数据集统计注入到客户端数据中来有效改善特征分布倾斜 FL 的泛化，从而缓解了不同本地数据集的基础分布所导致的特征漂移问题。

Jun, 2023

非独立同分布场景下联合学习中的规范化层实验

本文研究了使用联邦学习方法在分布式非独立同分布数据集上训练深度学习模型时，采用不同的规范化层和协同频率策略，优化模型性能的效果，研究发现，Batch Normalization 并不是最适合联邦学习的规范化策略，而 Group 与 Layer Normalization 能更有效地提升模型的速度和质量。此外，频繁的模型聚合也能降低模型性能。

Mar, 2023

多域联邦学习是否不可或缺归一化？

Federated learning（FL）通过在分散的客户端上进行协同原位训练，增强数据隐私性。然而，FL 面临由于非独立和同分布的（non-i.i.d）数据而引起的挑战，导致潜在的性能下降和收敛阻碍。本研究解决了一个被称为多域 FL 的关键问题，该问题经常被忽略，即客户数据来自具有不同特征分布的不同领域。为了解决 FL 中的多域问题，我们提出了一种称为无标准化联邦学习（FedWon）的新方法。FedWon 通过在 FL 中消除所有标准化，并用缩放的权重标准化重新参数化卷积层，以解决批量标准化面临的挑战。与 FedAvg 和当前最先进的方法（FedBN）相比，我们的结果表明 FedWon 在所有实验设置中均优于它们，某些域的改进超过 10％。此外，FedWon 即使在批量大小为 1 的情况下也能够以强劲的性能处理扭曲的标记分布，并且对于跨 silos 和跨设备的 FL 非常灵活。

Jun, 2023

规范化就足够了：理解极端标签偏移下的层归一化联邦学习

通过对层归一化与联邦学习中的标签转移问题的深入研究，我们揭示了层归一化与标签转移问题之间的深刻联系，并验证了特征归一化作为层归一化中的关键机制在改善联邦学习的收敛性方面的重要作用。

Aug, 2023

使用拉普拉斯正则化的联邦多任务学习的新视角和收敛速率

本论文提出了两种算法 FedU 和 dFedU，解决了非独立同分布数据分布导致联邦学习性能下降的问题，并在实验中表现出比现有算法更好的收敛速度和性能，同时指出所提出的联邦多任务学习问题可以用于常规 FL 和个性化 FL 任务。

Feb, 2021

具有流形正则化和归一化更新聚合的联邦学习

我们提出了 FedMRUR 方法，采用流形模型融合方案和一种新的全局优化器来减轻模型不一致性的负面影响，并通过在低维子空间中使本地和全局模型的数据表示相互接近的双曲图流形正则化器，从而显著减少模型不一致性，实现了局部客户更新的正交性引入的规范缩减。我们还证明了该算法在非凸设置下可以实现线性加速性能，并通过实验证明 FedMRUR 在通信量较少的情况下可以实现新的最先进准确性。

Nov, 2023

联邦复合优化

本文探讨了面向非平滑损失函数的联邦学习问题，提出了一种新的基于原始 - 对偶算法的 FedDualAvg 算法，并通过理论分析和实验结果证明了其优于其他基线算法。

Nov, 2020

FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

May, 2020