联邦学习的多层分支正则化

ICMLJul, 2022

Multi-Level Branched Regularization for Federated Learning

Jinkyu Kim, Geeho Kim, Bohyung Han

TL;DR为克服联邦学习中数据异构和不平衡的问题，本文提出了一种新的构架规范技术，通过在每个本地模型中构建多个辅助分支，并通过在线知识蒸馏使本地模型的主路径表示与辅助混合路径保持一致，进而增强了全局模型的鲁棒性。该技术在非 iid 环境中有效并适用于各种联邦学习框架，并且不会产生额外的通信成本。实验结果表明，与现有方法相比，该技术具有显着的准确性和效率提高。

Abstract

A critical challenge of federated learning is data heterogeneity and imbalance across clients, which leads to inconsistency between local networks and unstable convergence of global models. To alleviate the limit

federated learning data heterogeneity auxiliary hybrid pathways online knowledge distillation non-iid setting

发现论文，激发创造

原型正则化提升联邦学习收敛性

在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。

Jul, 2023

中间表示正则化的联邦学习

本文介绍一项名为 FedIntR 的策略，通过将中间层的表示集成到本地训练过程中，提供了更细粒度的规则化方式，以防止联邦学习中的局部训练偏移，并确定每个层对正则化项的贡献，并在各种数据集上进行了深入的实验，证明 FedIntR 可以达到与最先进方法相当或更高的性能。

Oct, 2022

基于动态正则化的联邦学习

我们提出了一种新的联邦学习方法，通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时，在凸和非凸情况下实现了高效训练。

Nov, 2021

通过全局正则化个性化实现解决联邦学习中客户端不平衡问题

本文提出了一种名为 Global-Regularized Personalization （GRP-FED）的方法，利用全局和本地模型各自的优势来有效处理分散客户端的长尾数据不均衡问题，实验结果表明，GRP-FED 在 MIT-BIH 和 CIFAR-10 数据集上表现出更好的性能和更好地解决了客户端不平衡问题。

Aug, 2021

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

具有投影轨迹正则化的联邦学习

提出了一种新颖的联邦学习框架（FedPTR），通过采用轨迹正则化来解决分布式学习中数据异质性问题，利用模型训练轨迹中的全局信息进行本地训练规范化，经过理论分析和实验证明其快速收敛并在异质数据分布下具有良好效果。

Dec, 2023

鲁棒的网络联邦学习用于定位

本文提出了一种在分布式子梯度框架中采用 L1 范数鲁棒性公式的方法来解决分布式环境中的定位问题，并通过数值模拟验证了该方法在异常值较多的环境中的优越性能。

Aug, 2023

异构联邦学习

本文提出了一种新颖的联邦学习框架，通过设计特征定向调节方法 (ψ-Net) 来确保显式特征信息在不同的神经网络结构中的分配，并应用于协作模型中，在通常分散和混乱的信息环境下，通过协定的时序，信息的有序分配及结构匹配，提高了联邦学习的适用性，同时提供了优秀的收敛速度、精度和计算 / 通信效率。

Aug, 2020

本地训练中减轻遗忘的联邦学习加速

本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题，通过在本地训练阶段使用生成的伪数据作为正则化器，以保护用户隐私并提高算法的收敛速度。

Mar, 2022

联邦剩余学习

本研究探讨了一种新的联邦学习形式，其中客户端训练个性化本地模型，并与服务器端共享模型联合进行预测，通过这种新的联邦学习框架，可以最小化中央共享模型的复杂性，同时获得联合训练提供的所有性能优势。这个框架对数据异质性具有鲁棒性，解决了传统联邦学习方法在客户端数据非独立同分布时面临的收敛缓慢问题。我们在实证测试中发现，与基准线相比，取得了巨大的性能提升。

Mar, 2020