May, 2023

恶意客户端不在线情况下的联邦学习

PDF
TL;DR本文研究了非结构化和基于强凸全局目标的联邦学习中，面向恶意客户端不可用性问题的简单算法，发现简单的 FedAvg 或 FedProx 算法在不考虑该问题的情况下，能够达到最小化的估计误差并具有收敛速度。经过对合成和真实世界数据集的数值实验验证了理论分析的正确性。
federated learningarbitrary client unavailabilityadversarial client unavailabilityconvergence speedselection bias
发现论文，激发创造
  • 分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

    该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。

    Feb, 2020

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • 利用隐式八卦来强化联邦学习：在未知和任意动态中缓解连接不可靠性

    研究了在存在随机和动态通信故障的情况下的联邦学习，提出了 Federated Postponed Broadcast（FedPBC）方法，通过推迟广播全局模型，在非凸目标函数中达到稳定点，通过实验验证了分析结果。

    Apr, 2024

  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 带噪声通信的鲁棒联邦学习

    本研究提出一种鲁棒的联邦学习方案，通过并行优化、正则化等方法减小噪声影响，并从理论角度分析了其收敛性和准确性改善，仿真实验进一步验证了该方案的有效性。

    Nov, 2019

  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 在设备任意不可用情况下的快速联邦学习

    本研究提出了一种名为 Memory-augmented Impatient Federated Averaging （MIFA）的算法来应对 Federated Learning 中设备不可用的问题，该算法有效地避免了不活跃设备带来的过度延迟，并使用从设备中记忆的最新更新来校正梯度偏差，并证明了 MIFA 在强凸和非凸顺滑函数的非独立同分布数据上实现了极小化最优收敛率。经过实验验证，该算法真实世界数据集取得了良好的结果。

    Jun, 2021

  • WeiAvg: 促进数据多样性的联邦学习模型聚合

    本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

    May, 2023