一种用于联邦学习的逐元素权重聚合方法

Apr, 2024

一种用于联邦学习的逐元素权重聚合方法

An Element-Wise Weights Aggregation Method for Federated Learning

Yi Hu, Hanchi Ren, Chen Hu, Jingjing Deng, Xianghua Xie

TL;DR该研究介绍了一种基于元素权重聚合的联邦学习方法（EWWA-FL），旨在优化学习性能和加速收敛速度。通过将本地权重聚合到全局模型的个别元素级别，该方法允许每个参与的客户端对学习过程进行元素级贡献，从而提高了全局模型对不同数据集的鲁棒性以及实现了快速收敛。该方法具有灵活性，可以采用各种加权策略，通过全面的实验证明了 EWWA-FL 的先进性，展示了在各种骨干和基准测试中精确度和收敛速度的显著改进。

Abstract

federated learning (FL) is a powerful Machine Learning (ML) paradigm that enables distributed clients to collaboratively learn a shared global model while keeping the data on the original device, thereby preserving privacy. A central challenge in FL is the effective aggregation of loca

federated learning element-wise weights aggregation method collaborative learning learning performance convergence speed

发现论文，激发创造

FedDWA: 带有在线权重调整的个性化联邦学习

本文提出了一种名为 FedDWA 的新型 PFL 算法，它利用参数服务器计算个性化的聚合权重，以此解决了传统加权聚合方法中需要客户端下载他人模型的通信问题和数据隐私问题。最终，基于五个真实数据集的实验表明，FedDWA 可以显著降低通信负担并实现比现有方法更高的模型精确度。

May, 2023

通过一般化界限估计对联邦学习进行聚合加权

使用一种新的策略替代先前的加权方法，该策略考虑了每个本地模型的泛化界限，实验证明该方法显著改善了基准数据集上几种代表性的 FL 算法的性能。

Nov, 2023

联邦学习中的近似加权数据重构攻击

水平联邦平均（FedAvg）中的参数攻击问题可以通过我们提出的插值近似方法和层次加权损失函数来解决，实验证明我们的方法在图像数据重建方面具有明显的改进。

Aug, 2023

联邦学习能找到有益的朋友

该研究提出了一种新的算法，为参与联邦学习训练的客户分配自适应聚合权重，识别出最有利于特定学习目标的数据分布，实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现，强调了客户选择的重要性。

Feb, 2024

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020

L-DAWA：联邦自监督视觉表示学习中的分层散度感知权重聚合

该研究提出了一种新的聚合策略 Layer-wise Divergence Aware Weight Aggregation (L-DAWA)，通过在聚合时考虑客户端模型和全局模型之间的角度差异，缓解了联邦学习聚合时客户端偏差和差异带来的影响，在多个数据集上验证了其有效性，并得出了对比性和非对比性自监督方法的 SOTA 表现。

Jul, 2023

FedClust: 通过权重驱动的客户端聚类优化非 IID 数据上的联邦学习

FedClust 是一种聚类联邦学习方法，利用局部模型权重和客户数据分布之间的相关性将客户分组成簇，并动态地实时适应新加入的客户，实验结果表明 FedClust 在准确性和通信成本方面优于基线方法。

Mar, 2024

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

WeiAvg: 促进数据多样性的联邦学习模型聚合

本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

May, 2023

从模型权重演化频率的角度重新思考防御自由骑车者攻击

通过模型权重进化频率的差异性，使用 WEF-Defense 方法来防御自由载客攻击并在数据隐私保护方面取得更好的效果。

Jun, 2022