May, 2022

联邦学习聚合：具有保证的新的鲁棒算法

PDF
TL;DR该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。
federated learningdistributed model trainingaggregationmodel architectureconvergence analysis
发现论文，激发创造
  • 用于普适计算的联邦学习聚合算法：评估和比较

    本文探讨了如何应对异构设备和用户的挑战，提出了一种新型的聚合算法 FedDist，该算法能够考虑到客户端的差异性而不影响泛化能力，并在人类活动识别普适领域上通过对比测试发现其表现更好。

    Oct, 2021

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • 联邦学习的鲁棒聚合

    本文提出了一种使用鲁棒集成中位数的方法来实现联邦学习的鲁棒性，该方法使用常数次迭代实现了随机平均值，不仅能保护隐私，而且在计算机视觉和自然语言处理的三个任务中也有较好的性能。

    Dec, 2019

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • 通过自适应模型平均实现拜占庭鲁棒的联邦机器学习

    本文介绍了一种名为自适应联邦平均的新型算法，该算法利用隐藏马尔可夫模型来检测参与者在训练期间提供的模型更新质量，并提出一种鲁棒聚合规则以检测和丢弃每次训练迭代中的不良或恶意本地模型更新以及阻止不需要的参与者，从而在处理噪声、故障和恶意参与者时具有更高的鲁棒性和计算效率。

    Sep, 2019

  • 本地更新促进表示学习的 FedAvg 与微调

    通过对 FedAvg 在多任务线性表示设置下的形式化研究，我们发现 FedAvg 之所以能够产生良好的泛化效果，是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示，我们还提供了实证证据，证明了 FedAvg 在具有异构数据的联合图像分类中的表示学习能力。

    May, 2022

  • WeiAvg: 促进数据多样性的联邦学习模型聚合

    本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

    May, 2023

  • 分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

    该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。

    Feb, 2020

  • 联邦学习的聚合服务：高效、安全、更具韧性的实现

    本文介绍了一个基于轻量级加密和数据混淆的联邦学习系统，结合恰当的带宽效率优化和对云服务器主动攻击的安全保护机制，在保证客户端数据隐私的前提下，整合来自多源的数据进行联合训练，并在多项数据集（MNIST、CIFAR-10、CelebA）上验证该系统的可行性及精度。

    Feb, 2022