FedZeN：通过增量 Hessian 估计实现超线性零阶联邦学习

Sep, 2023

FedZeN：通过增量 Hessian 估计实现超线性零阶联邦学习

FedZeN: Towards superlinear zeroth-order federated learning via incremental Hessian estimation

Alessio Maritan, Subhrakanti Dey, Luca Schenato

TL;DR本研究使用增量 Hessian 估计器在协同训练集中设计第一个估计全局目标曲率的零阶联邦学习算法，以达到超线性收敛，通过在 Stiefel 流形中对随机搜索方向进行采样以提高性能。我们通过使用同步的伪随机数生成器以一种通信高效和隐私保护的方式，在中央服务器上构建梯度和 Hessian 估计器。我们对我们的算法进行了理论分析，命名为 FedZeN，证明了具有高概率的局部二次收敛和全局线性收敛的零阶精度。数值模拟验证了超线性收敛速率，并表明我们的算法优于文献中可用的零阶联邦学习方法。

Abstract

federated learning is a distributed learning framework that allows a set of clients to collaboratively train a model under the orchestration of a central server, without sharing raw data samples. Although in many practical scenarios the derivatives of the objective function are not ava

federated learning zeroth-order convex optimization hessian estimator superlinear convergence

发现论文，激发创造

基于随机零阶优化的联邦学习通信高效实现

本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助 FedZO 算法。在非凸设置下，研究了 FedZO 算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。

Jan, 2022

渲染有用的无线环境：一种零阶随机联邦学习方法

利用通信高效的框架，我们提出了一种新颖的、基于零阶方法的联邦学习（ZOFL）框架，通过利用无线通信信道的特性，在学习算法本身中包含无线信道，而无需分析并消除其影响。

Jan, 2024

使用轨迹信息的联邦式零阶优化

基于轨迹信息的梯度替代物的联邦零阶优化算法 (FZooS) 通过减少函数查询次数和改进通信效率来提高联邦优化中的效果。

Aug, 2023

FedNL: 将牛顿类方法应用于联邦学习

本研究提出了一族 Federated Newton Learn 方法，它不仅能够使用于广义线性模型，还可应用于压缩本地 Hessians 等通用收缩压缩算子，具有隐私增强和通信效率等优点，并以实验证明了其与关键基线相比具有卓越的通信复杂度。

Jun, 2021

FedNS: 快速草图牛顿算法用于联邦学习

提出了一种名为 Federated Newton Sketch 方法（FedNS）的算法，通过通信 sketched square-root Hessian 来逼近中心化的 Newton's 方法，以此解决了 Hessian 矩阵的通信复杂性问题，实现了快速收敛率，并首次达到了超线性收敛率。

Jan, 2024

Fed-Sophia: 一个高效的二阶联邦学习算法

本文章介绍了一个可扩展的二阶方法 Fed-Sophia，通过结合梯度的加权移动平均和剪切操作来寻找下降方向，并使用海森矩阵对角线的轻量级估计来融入曲率信息。数值评估表明，与一阶和二阶基准相比，所提出的 Fed-Sophia 算法在优越性、鲁棒性和可扩展性方面表现出色。

Jun, 2024

异步联邦优化

提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

Mar, 2019

联邦学习中的线性收敛问题：应对客户端异质性和稀疏梯度

本文提出了 FedLin 框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战，当客户端的本地损失函数是光滑且强凸的时，FedLin 保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。

Feb, 2021

带双重正则化漂移校正的联邦优化

分布式优化中的 Federated Learning 及其改进方法 DANE 和 FedRed 的关键词与摘要。

Apr, 2024

SphereFed: 超球面联合学习

使用球面限制措施的超球面联邦学习 (SphereFed) 框架，通过在联邦学习之前将数据点的表示限制到由客户端共享的单位超球面上，解决了非独立分布数据的处理问题，通过构建固定分类器来处理不类别分布的数据在不同客户端间的差异性并在最小化损失函数的过程中进行联邦学习，最终实现进一步的分类器校准。我们的实验证明 SphereFed 方法能够有效提高现有算法的准确性（在具有挑战性的数据集上达到 6% 以上），并增强计算和通信效率。

Jul, 2022