联邦学习中动态正则化的锐度感知极小化：接近全局一致性和光滑地形

ICMLMay, 2023

联邦学习中动态正则化的锐度感知极小化：接近全局一致性和光滑地形

Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape

PDF

Yan Sun, Li Shen, Shixiang Chen, Liang Ding, Dacheng Tao

TL;DR提出一种联邦学习算法 FedSMOO，通过与全局目标的动态正则化和全局 Sharpness Aware Minimization（SAM）优化器，以及综合考虑优化和泛化目标，有效提高联邦学习的性能和通用性。

Abstract

In federated learning (FL), a cluster of local clients are chaired under the coordination of the global server and cooperatively train one model with privacy protection. Due to the multiple local updates and the

federated learning local client coordination optimization generalization privacy protection

发现论文，激发创造

基于锐度感知最小化实现的广义联邦学习

本文提出了一种名为 FedSAM 的基于 Sharpness Aware Minimization (SAM) 本地优化器的泛化学习算法，以解决 FL 中的数据异构性问题，并在理论上证明了其几何级数的收敛性和泛化边界。在实证方面，我们的算法大大优于现有 FL 研究并显著降低了学习偏差。

Jun, 2022

通过寻求平坦的极小值改善联邦学习的泛化能力

通过研究损失和 Hessian 特征谱的几何性质，我们研究了联邦设置中模型的不良性能和泛化失败，发现使用 SAM 或 ASAM 本地训练客户端并在服务器端平均随机权重（SWA）可以显着提高 FL 中的泛化能力并有助于缩小与中央模型的差距，在各种基准视觉数据集和任务上都表现出良好的效果。

Mar, 2022

局部估计的全局扰动优于本地扰动的联邦锐度感知最小化

通过在联邦学习中本地估计全局扰动的方向，FedLESAM 算法提高了联邦 Sharpness-Aware Minimization（SAM）方法的质量和效率。

May, 2024

在客户端差分隐私下实现更平缓的模型优化路径和更好的泛化效果的联邦学习

通过梯度扰动和局部平坦模型来提高权重扰动鲁棒性和性能，进而减少感知信息泄露，DP-FedSAM 算法在 DPFL 中达到最先进的性能。

May, 2023

非对称分散式联邦学习

基于不对称拓扑结构和 Push-Sum 协议，DFedSGPSM 算法以解决共识优化问题为目标，结合 Sharpness Aware Minimization（SAM）优化器和本地动量，提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论分析证明在非凸平滑环境下，DFedSGPSM 算法以 O (1/√T) 的收敛速率收敛于全局最优解，而更好的拓扑连接性能会得到更严格的上界。在 MNIST、CIFAR10 和 CIFAR100 数据集上进行的大量实验表明，与最先进的优化器相比，我们的算法具有更优越的性能。

Oct, 2023

差分隐私联邦学习中降低横向溢出

DP-FedSAM 是一种新的 DPFL 算法，它利用梯度扰动来减轻 DP 的负面影响，并整合 SAM 优化器来生成具有更好稳定性和权重扰动鲁棒性的本地平坦模型，从而提高性能并提供隐私保证。

Mar, 2023

FedSoL: 在联合学习中桥接全球对齐和本地通用性

通过结合全局对齐和局部普遍性的概念，我们提出了名为 FedSoL 的联邦稳定学习方法，该方法在寻求抵御邻近扰动的参数区域时，既可维持原始局部目标进行参数更新，又能在局部学习中引入一种隐式的邻近限制效果。进行了一系列实验表明，FedSoL 在各种场景下始终保持最先进的性能。

Aug, 2023

基于近端增广拉格朗日算法的具有全局和本地凸锥约束的联邦学习

本研究提出了一种应对全局和局部约束的联邦学习算法，并在实验中展示了其在 Neyman-Pearson 分类和增强模型公平性方面的实际优势。

Oct, 2023

联邦学习中快速复合优化和统计恢复

本文研究了在联邦学习设置下一类组合优化和统计恢复问题，提出了新的算法，旨在从优化和统计两个角度开拓这一领域，实验表明该方法比其他基线优秀。

Jul, 2022

FLVoogd: 强健和隐私保护的联邦学习

提出 FLVoogd 联邦学习方法，采用密度聚类算法以及测试性距离控制等方法实现安全隐私保护，同时利用安全多方计算实现加密运算，在图像分类数据集中可以有效抵御恶意攻击，避免服务器数据泄露。

Jun, 2022