Jun, 2022

关于异构数据下联邦平均的非常高效性

PDF
TL;DR这篇论文解释了之前理论预测与实际表现矛盾的问题，发现数据异质性对于 FedAvg 算法的收敛效率影响要小于之前理论预测，通过引入新的指标（即平均漂移值）重新理论分析 FedAvg 算法，发现其在实际应用中的表现能够和同构的数据集一样并获得了成功。
federated averagingdata heterogeneityconvergencegradient dissimilarityaverage drift
发现论文，激发创造
  • Dirichlet 分布异构数据的 FedAvg 和 Per-FedAvg 算法的比较评估

    该研究调查了联邦学习（FL）这一机器学习范式，允许在不共享原始数据的设备上进行分散模型训练，从而保护数据隐私。我们比较了该范式内的两种策略：联邦平均（FedAvg）和个性化联邦平均（Per-FedAvg），重点关注它们在非独立同分布数据（Non-IID）条件下的性能。我们的分析显示，使用狄利克雷分布建模的数据异质性水平显著影响两种策略的性能，在高异质性条件下，Per-FedAvg 表现出更强的健壮性。我们的结果为在分散环境下开发更有效和高效的机器学习策略提供了见解。

    Sep, 2023

  • 非独立同分布数据上 FedAvg 的收敛性

    本文中，我们分析了在非独立同分布数据上的 FedAvg 算法的收敛性，并在强凸和平滑问题上建立起一个 O (1/T) 的收敛率，研究了部分设备参与的不同平均方案，结果表明数据的异质性会降低收敛速度，并提供了一个必要条件，即遇到非独立同分布数据时，学习率需要衰减否则结果将偏离最优解。

    Jul, 2019

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 基于梯度蒙版的联邦学习平均化

    本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

    Jan, 2022

  • WeiAvg: 促进数据多样性的联邦学习模型聚合

    本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

    May, 2023

  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 解决异构联邦优化中的目标不一致问题

    本文为联邦异构优化提供了一个通用的框架，分析了算法的收敛性，解决了不同本地数据集和计算速度引起的目标不一致性问题，并提出了 FedNova 方法，实现了快速错误收敛并消除了目标不一致性。

    Jul, 2020

  • 带有公平平均的联邦学习

    本文探讨联邦学习中不公平性的问题，提出了解决方案 ——FedFV 算法，并且基于余弦相似性检测梯度冲突，在梯度平均之前消除这些冲突。实验证明，FedFV 在公平性、准确性和效率方面比现有方法表现更好，并能收敛于 Pareto 稳态解。

    Apr, 2021

  • 通过梯度多样性最大化解决联邦优化的混合异质性问题

    研究了混合异构性如何影响联邦优化，通过调查服务器端优化表明，自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响，引入了具有理论保证的新型基于梯度的优化器 FedAWARE，通过在异构联邦设置中进行大量实验表明，我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。

    Oct, 2023