Sep, 2023

DRAG: 基于差异的适应性聚合在非 IID 数据上的联邦学习

PDF
TL;DR基于梯度下降的分布式学习算法在通信效率方面取得了一定的成果，但由于异构数据分布引起的工作节点的‘客户端漂移’现象导致收敛速度减慢。为解决此问题，本文提出了一种称为‘分歧度量’的新指标，并通过该指标引入了一种自适应聚合算法，该算法可以在每一轮中动态地将收到的本地更新向参考方向‘拉拽’，而无需额外的通信开销。同时，本文还对该算法的收敛性进行了严格的分析，并通过实验证明了其管理‘客户端漂移’现象方面的优越性。此外，该算法还显著增强了对特定的拜占庭攻击的抵抗能力，在与 FL 服务器进行安全的数据共享的同时，通过综合实验对这些攻击进行了有效的应对。
stochastic gradient descentfederated learningclient-driftdivergence-based adaptive aggregationbyzantine attacks
发现论文，激发创造
  • FedADC: 带漂移控制的加速联邦学习

    本文提出了一种新的联邦学习算法 FedADC，可以在分布式环境下加速核心算法 SGD 并控制数据漂移问题，同时不会增加计算和通信负载，并通过实验验证了其优越性。

    Dec, 2020

  • LAG：用于通信高效分布式学习的惰性聚合梯度

    本文提出了一种新类的渐变方法，用于分布式机器学习，可以通过自适应地跳过梯度计算来降低通信和计算成本，并经过了数值实验的验证。

    May, 2018

  • LASG: 惰性累加随机梯度优化方法用于高效通讯的分布式学习

    该论文旨在通过 LASG（一种新的随机梯度下降方法）解决通信效率低下的分布式机器学习问题，并在实验中展示可以节省大量的通信成本。

    Feb, 2020

  • 联邦学习中局部下降方法的收敛性

    本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

    Oct, 2019

  • 联邦学习中的本地适应性：收敛和一致性

    本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

    Jun, 2021

  • 基于无线 D2D 网络的分散联邦学习

    本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

    Feb, 2020

  • 具有适应性数据异构性的拜占庭弹性联邦学习

    该研究论文研究了在存在恶意拜占庭攻击和数据异质性的情况下的联邦学习。提出了一种新颖的鲁棒平均梯度算法 (RAGA)，其利用几何中位数进行聚合，并可以自由选择局部更新的轮次。通过对不仅是强凸而且非凸损失函数进行收敛性分析，以及考虑到恶意用户的数据集比例小于一半的情况下，本文论证了 RAGA 可以实现收敛。此外，证明了随着数据异质性消失，可以得到稳定点或全局最优解。实验结果验证了 RAGA 在不同强度的拜占庭攻击和异质数据集下的收敛性能优于基准方法。

    Mar, 2024

  • 带双重正则化漂移校正的联邦优化

    分布式优化中的 Federated Learning 及其改进方法 DANE 和 FedRed 的关键词与摘要。

    Apr, 2024

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 自适应梯度稀疏化用于高效联邦学习：一种在线学习方法

    本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升 40% 的模型准确度。

    Jan, 2020