Oct, 2023

通过梯度多样性最大化解决联邦优化的混合异质性问题

PDF
TL;DR研究了混合异构性如何影响联邦优化，通过调查服务器端优化表明，自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响，引入了具有理论保证的新型基于梯度的优化器 FedAWARE，通过在异构联邦设置中进行大量实验表明，我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。
federated learninghybrid heterogeneityserver-side optimizationgradient diversity extsc{fedaware}
发现论文，激发创造
  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018

  • 重新思考联邦学习中的数据异质性：引入新概念和标准基准

    我们研究了数据异质性对联邦学习的影响，发现许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。我们研究发现，当前设置中的数据异质性不一定是问题，事实上，它对 FL 参与者有益。

    Sep, 2022

  • 稳健联邦学习的进展：异质性考虑

    异构联邦学习领域中，关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念，并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外，我们探讨了现有最先进的方法如何应对异构联邦学习的异质性，并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后，本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后，本文讨论了目前存在的开放问题和未来研究方向，旨在推动异构联邦学习的进一步发展。

    May, 2024

  • 解决联邦学习中的计算异构性：几个理论思路

    机器学习的未来在于边缘计算，用于数据收集和训练，联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架，用于解决联邦优化中的计算异构性问题，包括异构数据和本地更新，并从理论和实验的角度进行了广泛的分析。

    Jul, 2023

  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 联邦优化指南

    本论文旨在提供针对联邦优化算法的具体指导和实用实现，重点关注进行有效模拟以推断实际效果，并鼓励研究人员设计适用于各种实际应用的联邦学习算法。

    Jul, 2021

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • 通过合成数据洗牌加速异构数据情况下联邦学习的收敛

    本文研究了联邦学习中数据异构性的挑战，提出了通过对实验数据进行部分重洗来优化收敛率的方法。通过本文提出的理论方法，我们证明了重洗可以显着减少数据的不同之处，从而加快收敛速度，本研究提出了一种使用本地生成的合成数据进行重洗的实际方法，并证明了通过该方法可以显著提高多个现有联邦学习算法的性能。

    Jun, 2023

  • 因子辅助的个性化异构数据联邦学习优化

    Federated learning aims to protect data privacy, and this paper proposes FedSplit, a personalized federated learning framework addressing the challenge of data heterogeneity by splitting hidden elements into shared and personalized groups, optimizing with a novel objective function. Additionally, factor analysis is introduced to decouple hidden elements, resulting in a practically implemented model referred to as FedFac, which demonstrates superior prediction performance compared to other state-of-the-art federated learning methods on real datasets.

    Dec, 2023

  • FedGrad: 分散式機器學習中的優化

    本文介绍联邦学习作为一种分布式机器学习方法，提出自适应联邦优化算法和其他一些想法，并通过实验展示了在性能上的改进。

    Nov, 2022