May, 2024

SADDLe: 具有异构数据的尖锐感知去中心化深度学习

PDF
TL;DR本文提出 SADDLe，一种利用 Sharpness-Aware Minimization (SAM) 的锐度感知的分布式深度学习算法，以解决分布式训练中的局部过拟合、全局模型泛化不佳和高通信成本等实际挑战。实验结果表明，与现有技术相比，SADDLe 能使测试准确率提高 1-20%，且在 4 倍的通信压缩下，仅平均下降 1%。
decentralized trainingdata distributionlocal model over-fittingcommunication costsharpness-aware minimization
发现论文，激发创造
  • 锐度感知训练

    本文提出了一种几乎不需要额外计算成本的 Sharpness-Aware Training 方法，能减少由超参导致的广义误差，该方法通过 KL 散度实现了一个平滑收敛点，获得了与 SAM 类似的效果，使训练更加高效。

    May, 2022

  • 高效通讯的分布式鲁棒性分布式学习

    本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

    May, 2022

  • 为何敏锐度感知最小化的泛化能力优于 SGD?

    训练大型神经网络时，过拟合的挑战变得日益重要。为解决这一问题，Sharpness-Aware Minimization（SAM）作为一种有希望的训练方法出现，可在存在标签噪声的情况下提高神经网络的泛化性能。然而，对于非线性神经网络和分类任务领域，对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降（SGD），填补了这一空白。我们所研究问题的损失函数景观是非光滑的，因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处，特别是它能防止在早期阶段噪声学习，从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。

    Oct, 2023

  • 锐度感知最小化的稳定性分析

    本文研究了锐度感知最小化的动态，发现其在鞍点处存在收敛不稳定性，并证明了鞍点可以在锐度感知最小化动态下成为吸引子。同时，研究发现锐度感知最小化的扩散比普通梯度下降要差。本研究验证了通过动量和批量大小等训练技巧可以缓解收敛不稳定性并实现高泛化性能。

    Jan, 2023

  • 差分隐私锐度感知训练

    本文探讨了在进行差分隐私训练时，模型性能的降级问题，并提出了一种新的训练方法来缓解隐私和优化之间的权衡，实验证明该方法可以改善模型的性能。

    Jun, 2023

  • ASAM：适应性锐度感知极小化方法用于深度神经网络的尺度不变学习

    本论文提出了自适应锐度的概念和相应的泛化界限，并提出了利用该泛化界限的新型学习方法 ASAM。在各种基准数据集上的实验证明，ASAM 显著提高了模型的泛化性能。

    Feb, 2021

  • 去中心化 SGD 和平均方向 SAM 在渐近情况下等价

    本文挑战了常规信念，提出了一种完全新的角度来理解分散学习，证明了分散随机梯度下降隐含地最小化了一种平均方向锐度感知最小化算法的损失函数，在常规非凸非 $/beta/$ - 平滑设置下的这种惊人的渐近等价关系揭示了一种本质上的正则化 - 优化权衡和分散的三个优点。

    Jun, 2023

  • SAMSON: 适应性异常值标准化缩放的尖锐度感知最小化，用于提高 DNN 的泛化性和鲁棒性

    本文提出了一种自适应尖锐度感知（SAMSON）的方法，通过优化损失值和损失尖锐度来提高神经网络模型对噪音硬件的稳健性，相比现有的尖锐度感知训练方法在无噪声和有噪声的环境下均表现出更好的模型泛化性能和鲁棒性。

    Nov, 2022

  • 通过平衡学习提高特征质量的锐度感知最小化

    Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。

    May, 2024

  • 神经网络训练的高效锐度感知最小化方法

    本研究提出了一种高效的针对过度参数化深度神经网络的 Sharpness Aware Minimizer 方法的修改版 Efficient Sharpness Aware Minimizer，其中包括两种新的训练策略 - 随机权重扰动和敏感于模型锐度的数据选择，以提高模型的训练效率，实验结果表明，该方法与基本优化器相比较，可以节省高达 60% 的计算资源，而且能够保持或提高测试准确性。

    Oct, 2021