通过寻求平坦的极小值改善联邦学习的泛化能力

ECCVMar, 2022

通过寻求平坦的极小值改善联邦学习的泛化能力

Improving Generalization in Federated Learning by Seeking Flat Minima

Debora Caldarola, Barbara Caputo, Marco Ciccone

TL;DR通过研究损失和 Hessian 特征谱的几何性质，我们研究了联邦设置中模型的不良性能和泛化失败，发现使用 SAM 或 ASAM 本地训练客户端并在服务器端平均随机权重（SWA）可以显着提高 FL 中的泛化能力并有助于缩小与中央模型的差距，在各种基准视觉数据集和任务上都表现出良好的效果。

Abstract

Models trained in federated settings often suffer from degraded performances and fail at generalizing, especially when facing heterogeneous scenarios. In this work, we investigate such behavior through the lens of geometry of the loss and Hessian eigenspectrum, linking the model's lack

federated learning sharpness-aware minimization swa generalization heterogeneous scenarios

发现论文，激发创造

基于锐度感知最小化实现的广义联邦学习

本文提出了一种名为 FedSAM 的基于 Sharpness Aware Minimization (SAM) 本地优化器的泛化学习算法，以解决 FL 中的数据异构性问题，并在理论上证明了其几何级数的收敛性和泛化边界。在实证方面，我们的算法大大优于现有 FL 研究并显著降低了学习偏差。

Jun, 2022

联邦学习中动态正则化的锐度感知极小化：接近全局一致性和光滑地形

提出一种联邦学习算法 FedSMOO，通过与全局目标的动态正则化和全局 Sharpness Aware Minimization（SAM）优化器，以及综合考虑优化和泛化目标，有效提高联邦学习的性能和通用性。

May, 2023

针对高效改善泛化性能的锐度感知最小化

本文引入了一种新颖、有效的程序，即 Sharpness-Aware Minimization (SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM 在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

Oct, 2020

平坦极小值优化器何时有效？

通过比较基于平坦极小点优化器的损失曲面和在计算机视觉、自然语言处理和图表示学习任务的广泛基准测试中，我们发现了一些令人惊讶的发现，希望这能帮助研究人员进一步改进深度学习优化器，并帮助实践者为其问题选择正确的优化器。

Feb, 2022

GA-SAM: 基于梯度强度的自适应锐度感知优化算法，以提高泛化能力

本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。

Oct, 2022

局部估计的全局扰动优于本地扰动的联邦锐度感知最小化

通过在联邦学习中本地估计全局扰动的方向，FedLESAM 算法提高了联邦 Sharpness-Aware Minimization（SAM）方法的质量和效率。

May, 2024

ASAM：适应性锐度感知极小化方法用于深度神经网络的尺度不变学习

本论文提出了自适应锐度的概念和相应的泛化界限，并提出了利用该泛化界限的新型学习方法 ASAM。在各种基准数据集上的实验证明，ASAM 显著提高了模型的泛化性能。

Feb, 2021

为何敏锐度感知最小化的泛化能力优于 SGD?

训练大型神经网络时，过拟合的挑战变得日益重要。为解决这一问题，Sharpness-Aware Minimization（SAM）作为一种有希望的训练方法出现，可在存在标签噪声的情况下提高神经网络的泛化性能。然而，对于非线性神经网络和分类任务领域，对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降（SGD），填补了这一空白。我们所研究问题的损失函数景观是非光滑的，因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处，特别是它能防止在早期阶段噪声学习，从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。

Oct, 2023

锐度感知的图协同过滤

图神经网络在协同过滤中取得了令人印象深刻的性能，然而，当训练数据和测试数据的分布不足够一致时，图神经网络的性能会较差。由于训练图神经网络需要优化充满局部和全局极值的非凸神经网络，这些极值在测试时可能性能差异很大，因此选择极值非常重要。因此，我们提出了一种名为 gSAM 的有效训练模式，该模式的原则是较为平坦的极值具有更好的泛化能力。为了实现这个目标，gSAM 通过形成双层优化来规范权重损失函数的平坦度：外部问题进行标准模型训练，而内部问题则帮助模型跳出尖锐的极值。实验证明了我们的 gSAM 的优越性。

Jul, 2023

通过平衡学习提高特征质量的锐度感知最小化

Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。

May, 2024