SHED：一种基于增量 Hessian 特征向量共享的联邦学习牛顿类算法

Feb, 2022

SHED：一种基于增量 Hessian 特征向量共享的联邦学习牛顿类算法

SHED: A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing

Nicolò Dal Fabbro, Subhrakanti Dey, Michele Rossi, Luca Schenato

TL;DR本研究提出了 SHED 算法，这是一种专门用于加速异构场景中的联邦学习的通信受限牛顿型算法，具有对非独立同分布数据分布的鲁棒性，处理了代理通信资源的异构性，并实现了超线性收敛。

Abstract

There is a growing interest in the distributed optimization framework that goes under the name of federated learning (FL). In particular, much attention is being turned to FL scenarios where the network is strongly heterogeneous in terms of communication resources (e.g., bandwidth) and

federated learning communication-constrained newton-type algorithm heterogeneous scenarios non-i.i.d. data distributions super-linear convergence

发现论文，激发创造

Q-SHED：基于海森矩阵特征向量量化的边缘分布式优化

提出一种基于 Newton-type 方法的分布式优化算法 Q-SHED，采用增量 Hess 量子化的位分配方案，可以大幅减少收敛所需的通信轮次，从而提高边缘网络的通信效率。

May, 2023

FedNS: 快速草图牛顿算法用于联邦学习

提出了一种名为 Federated Newton Sketch 方法（FedNS）的算法，通过通信 sketched square-root Hessian 来逼近中心化的 Newton's 方法，以此解决了 Hessian 矩阵的通信复杂性问题，实现了快速收敛率，并首次达到了超线性收敛率。

Jan, 2024

FedNew: 一种通信高效且隐私保护的联邦学习牛顿型方法

本研究介绍了一种名为 FedNew 的新型框架，通过引入两级框架、替换传统方法中需要从客户端传输 Hessian 信息的环节等方式解决了低通信效率、低隐私性等问题，并使用随机量化等方式将通信开销显著降低，在实际数据集上的实验显示出了优于现有方法的性能。

Jun, 2022

FedNL: 将牛顿类方法应用于联邦学习

本研究提出了一族 Federated Newton Learn 方法，它不仅能够使用于广义线性模型，还可应用于压缩本地 Hessians 等通用收缩压缩算子，具有隐私增强和通信效率等优点，并以实验证明了其与关键基线相比具有卓越的通信复杂度。

Jun, 2021

FedZeN：通过增量 Hessian 估计实现超线性零阶联邦学习

本研究使用增量 Hessian 估计器在协同训练集中设计第一个估计全局目标曲率的零阶联邦学习算法，以达到超线性收敛，通过在 Stiefel 流形中对随机搜索方向进行采样以提高性能。我们通过使用同步的伪随机数生成器以一种通信高效和隐私保护的方式，在中央服务器上构建梯度和 Hessian 估计器。我们对我们的算法进行了理论分析，命名为 FedZeN，证明了具有高概率的局部二次收敛和全局线性收敛的零阶精度。数值模拟验证了超线性收敛速率，并表明我们的算法优于文献中可用的零阶联邦学习方法。

Sep, 2023

Network-GIANT：基于谐波 Hessian 共识的完全分布式 Newton 型优化

介绍了一种基于网络的全新的分布式优化算法 Network-GIANT，它使用了类似 GIANT 的联邦学习算法，基于梯度跟踪和牛顿迭代算法的组合设计，并保证了在强凸光滑损失函数假设下的半全局指数收敛性，相比其他分布式学习算法提高了收敛性能。

May, 2023

FedDec：基于点对点协助的联邦学习

这篇论文提出了一种名为 FedDec 的算法，通过在 FL 的本地梯度更新之间交错点对点通信和参数平均化的方式，利用跨代理通信来改善 FL 的性能，证明了该算法在数据异构性、设备部分参与和光滑且强凸成本的假设下收敛，并表明代理间通信图谱的谱会改善收敛。

Jun, 2023

联邦深度均衡学习：边缘通信效率的紧凑共享表示

FeDEQ 是一种先驱性的联邦学习框架，利用深度均衡学习和一致性优化有效地在边缘节点之间利用紧凑的共享数据表示，允许派生个性化模型，并通过采用交替方向法解（ADMM）一致性优化的新型分布式算法，理论上证明了其收敛性。实验结果表明，与最先进的个性化方法相比，FeDEQ 在通信大小上使用的模型可小 4 倍，并且在训练时内存占用更少 1.5 倍，性能可媲美。

Sep, 2023

基于 Elastic Net 的通信高效和漂移稳健的联邦学习

提出了一种名为 FedElasticNet 的通信高效且健壮的联邦学习框架，利用弹性网正则化器解决通信成本和客户漂移问题。此框架可与先前的联邦学习技术相结合，有效地同时解决通信和漂移问题。

Oct, 2022

通过通信压缩的分布式随机梯度下降在异构联邦学习中逃离鞍点

我们提出了一种名为 Power-EF 的算法，通过一种新颖的误差反馈方案，只传递经过压缩的信息，实现异构联邦学习中逃离鞍点的分布式和压缩的 SGD 算法，无需任何数据均匀性假设，并且在访问一阶（可能是鞍点）点之后，仅使用几乎与一阶收敛所需相同数量的梯度查询和通信轮次进一步提高到二阶稳定点，其收敛速度以工作器数量的线性加速度变化。

Oct, 2023