ICMLOct, 2019

SCAFFOLD：面向联邦学习的随机控制平均算法

PDF
TL;DR通过引入控制变量技术，我们提出了一种新的算法（SCAFFOLD），减轻了 FedAvg 在异构数据（non-iid）上的不稳定性和慢收敛问题，从而使其需要的通信轮次大大减少，在分布式优化中新的成果是我们证明了 SCAFFOLD 可以利用客户端数据的相似性加速收敛。
federated averagingfedavgclient-driftscaffolddistributed optimization
发现论文，激发创造
  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • 非独立同分布数据上 FedAvg 的收敛性

    本文中，我们分析了在非独立同分布数据上的 FedAvg 算法的收敛性，并在强凸和平滑问题上建立起一个 O (1/T) 的收敛率，研究了部分设备参与的不同平均方案，结果表明数据的异质性会降低收敛速度，并提供了一个必要条件，即遇到非独立同分布数据时，学习率需要衰减否则结果将偏离最优解。

    Jul, 2019

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • 分散式聯合平均算法

    本文研究了联邦平均算法的去中心化版本，并使用无向图连接的客户端来实现，其在节点间仅通信与邻居节点；此外，还进一步研究了该算法的量化版本，并证明了在满足某些条件下该算法收敛性；最终通过数值实验验证了其有效性。

    Apr, 2021

  • 联邦平均（局部 SGD）和连续视角的锐界

    本文介绍了在联邦学习中最流行的算法之一 - 联邦平均（FedAvg），尽管其简单易用，但至今其收敛率仍未确定，并且该算法的收敛速度受限于其假设的条件。该研究通过提供一个匹配现有上限的 FedAvg 下限解决了已有的收敛速度问题，同时还证实了在异质性聚集中，合理的下限几乎匹配了现有的上限，同时也证明了对于三阶平滑性的假设，该算法能在凸和非凸设置上实现更好的收敛性能。

    Nov, 2021

  • 基于梯度蒙版的联邦学习平均化

    本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

    Jan, 2022

  • 关于联邦学习的二阶优化方法

    本研究考虑分布式学习中的标准优化方法 FedAvg，对比了多种具有良好收敛性质的二阶分布式方法，发现 FedAvg 表现出乎意料好，提出了一种使用二阶局部信息和全局线性搜索的新变种。

    Sep, 2021

  • 联邦加速随机梯度下降

    本文提出了 Federated Accelerated Stochastic Gradient Descent (FedAc)，它是 Federated Averaging (FedAvg) 的一种加速方法，可以提高收敛速度和通信效率，特别是在凸函数和三阶平滑函数上有更强的性能表现。该技术基于基于潜力的扰动迭代分析、广义加速 SGD 的新型稳定性分析和加速与稳定性之间的战略权衡。

    Jun, 2020