具有流形正则化和归一化更新聚合的联邦学习

Nov, 2023

具有流形正则化和归一化更新聚合的联邦学习

Federated Learning with Manifold Regularization and Normalized Update Reaggregation

Xuming An, Li Shen, Han Hu, Yong Luo

TL;DR我们提出了 FedMRUR 方法，采用流形模型融合方案和一种新的全局优化器来减轻模型不一致性的负面影响，并通过在低维子空间中使本地和全局模型的数据表示相互接近的双曲图流形正则化器，从而显著减少模型不一致性，实现了局部客户更新的正交性引入的规范缩减。我们还证明了该算法在非凸设置下可以实现线性加速性能，并通过实验证明 FedMRUR 在通信量较少的情况下可以实现新的最先进准确性。

Abstract

federated learning (FL) is an emerging collaborative machine learning framework where multiple clients train the global model without sharing their own datasets. In FL, the model inconsistency caused by the local

federated learning model inconsistency manifold model fusion hyperbolic space speedup property

发现论文，激发创造

FedMR: 基於模型重組的聯邦學習

本文提出一种名为 FedMR 的新颖、高效的联邦学习模式，通过重新组合每个客户端的收集本地模型的每一层来获得新的模型进行本地训练，从而实现更好的推理性能和客户端隐私保护。实验结果表明，与现有的联邦平均（FedAvg）方法相比，FedMR 在更快的时间内显著提高了推理准确性。

May, 2023

本地训练中减轻遗忘的联邦学习加速

本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题，通过在本地训练阶段使用生成的伪数据作为正则化器，以保护用户隐私并提高算法的收敛速度。

Mar, 2022

原型正则化提升联邦学习收敛性

在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。

Jul, 2023

中间表示正则化的联邦学习

本文介绍一项名为 FedIntR 的策略，通过将中间层的表示集成到本地训练过程中，提供了更细粒度的规则化方式，以防止联邦学习中的局部训练偏移，并确定每个层对正则化项的贡献，并在各种数据集上进行了深入的实验，证明 FedIntR 可以达到与最先进方法相当或更高的性能。

Oct, 2022

联合模型异构母娃表示学习

Federated model heterogeneous Matryoshka Representation Learning (FedMRL) enables knowledge exchange and improves model learning capability in heterogeneous federated learning through representation fusion.

Jun, 2024

特征标准化正则化的联邦学习：将不均衡的分布转化为全局洞察

在联邦学习领域，解决非独立同分布的数据问题一直是提高全局模型性能的一个重要挑战。本文提出了特征范数正则化联邦学习（FNR-FL）算法，通过独特地结合类平均特征范数来增强在非独立同分布场景下的模型准确性和收敛性。我们的综合分析发现，相比其他现代联邦学习算法，FNR-FL 不仅加快了收敛速度，而且在特征分布不均衡的情况下显著提高了测试准确率。FNR-FL 的新颖模块化设计使其能与现有的联邦学习框架无缝集成，增强了其适应性和广泛应用的潜力。我们通过严格的实证评估确证了我们的论述，展示了 FNR-FL 在各种不均衡数据分布下的出色性能。相较于 FedAvg，FNR-FL 的准确率提升了 66.24％，训练时间显著减少了 11.40％，凸显了其提高效果和效率的优势。

Dec, 2023

联邦学习的多层分支正则化

为克服联邦学习中数据异构和不平衡的问题，本文提出了一种新的构架规范技术，通过在每个本地模型中构建多个辅助分支，并通过在线知识蒸馏使本地模型的主路径表示与辅助混合路径保持一致，进而增强了全局模型的鲁棒性。该技术在非 iid 环境中有效并适用于各种联邦学习框架，并且不会产生额外的通信成本。实验结果表明，与现有方法相比，该技术具有显着的准确性和效率提高。

Jul, 2022

基于动态正则化的联邦学习

我们提出了一种新的联邦学习方法，通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时，在凸和非凸情况下实现了高效训练。

Nov, 2021

利用流形重塑实现部分类不相交数据下的联邦学习

我们提出了一种称为 FedMR 的流形重塑方法，通过引入内部类损失和跨类损失来校准本地训练的特征空间，从而解决部分类不相交数据在联邦学习中引发的优化方向偏倚问题，实现更高的准确性和更好的通信效率。

May, 2024

当联合学习遇到噪声标签时，重审早期学习正则化

FLR 是一种创新策略，通过生成新的伪标签并将本地和全局模型的预测相结合，有效地应对联邦学习中的标签噪声问题，提高全局模型在不同设置下的准确性并防止记忆嘈杂的标签，从而改善在标签准确性有误的 FL 环境中的泛化能力。

Feb, 2024