匹配平均联邦学习

ICLRFeb, 2020

Federated Learning with Matched Averaging

Hongyi Wang, Mikhail Yurochkin, Yuekai Sun, Dimitris Papailiopoulos, Yasaman Khazaeni

TL;DR本文提出了 Federated matched averaging （FedMA）算法，该算法用于联邦学习现代神经网络架构，如卷积神经网络（CNN）和长短时记忆网络（LSTM），该算法可以逐层构建全局模型，与通信负担比较低，同时在真实世界的数据集上表现比其他最先进的联邦学习算法更好。

Abstract

federated learning allows edge devices to collaboratively learn a shared model while keeping the training data on device, decoupling the ability to do model training from the need to store the data in the cloud. We propose Federated matched averaging (FedMA) algorithm designed for

federated learning fedma algorithm neural network cnns lstms

发现论文，激发创造

联邦学习聚合：具有保证的新的鲁棒算法

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

FedDM：基于迭代分布匹配的通信高效联邦学习

本研究提出了 FedDM，旨在通过多个本地替代函数来构建全局训练目标，从而减少通信轮数，改善模型质量，并在保留差分隐私的同时证明该算法的有效性。

Jul, 2022

通过无线计算进行联邦学习

提出了一种基于超过空气计算的方法，探索了无线多接入通道的叠加属性，用于边缘机器学习中的快速全局模型聚合。

Dec, 2018

通过自适应模型平均实现拜占庭鲁棒的联邦机器学习

本文介绍了一种名为自适应联邦平均的新型算法，该算法利用隐藏马尔可夫模型来检测参与者在训练期间提供的模型更新质量，并提出一种鲁棒聚合规则以检测和丢弃每次训练迭代中的不良或恶意本地模型更新以及阻止不需要的参与者，从而在处理噪声、故障和恶意参与者时具有更高的鲁棒性和计算效率。

Sep, 2019

具有快速收敛和高效通信的联邦元学习

本文提出了一个联邦元学习框架 FedMeta，其中共享参数化算法而非全局模型以解决分布式移动设备网络中训练机器学习模型的统计和系统挑战，并在数据集上进行广泛实证研究，结果显示 FedMeta 相比于联邦平均 FedAvg 能够在 2.82-4.33 倍的通信成本和更快的收敛速度上取得 3.23%-14.84% 的准确性提升，并对用户隐私进行保护。

Feb, 2018

边缘网络通信延迟中的联邦学习

本研究提出了一种名为 “FedDelAvg” 的延迟加权算法，用于解决分布式机器学习模型训练中网络边缘设备之间的通信延迟问题，并通过理论分析和实验证明，在优化加权方案以考虑延迟的情况下，FedDelAvg 算法在收敛速度上取得了显著改善。

Aug, 2020

基于梯度蒙版的联邦学习平均化

本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

Jan, 2022

FedMR: 基於模型重組的聯邦學習

本文提出一种名为 FedMR 的新颖、高效的联邦学习模式，通过重新组合每个客户端的收集本地模型的每一层来获得新的模型进行本地训练，从而实现更好的推理性能和客户端隐私保护。实验结果表明，与现有的联邦平均（FedAvg）方法相比，FedMR 在更快的时间内显著提高了推理准确性。

May, 2023

利用联邦学习进行工业物联网边缘设备网络的无监督异常检测

通过使用联邦学习方法中的 Fedavg 算法解决了物联网设备中涉及的隐私问题，并提出了一个公平的 Fedavg 算法以解决在训练过程中出现的不公平问题。

Aug, 2023

Fed2：特征对齐联邦学习

本文提出了基于特征对齐 Fed2 的联邦学习框架，通过显式的特征分配和特征配对均值方案，解决了联邦学习过程中参数随机性造成的结构特征不匹配的问题，提高了模型的收敛性能。

Nov, 2021