sharpness aware minimization | BriefGPT

关键词sharpness aware minimization

搜索结果 - 7

动量 - SAM：无需计算开销的锐度感知最小化
最近提出的深度神经网络优化算法（Sharpness Aware Minimization）通过在梯度计算之前扰动参数，通过梯度上升步骤将优化引导到损失平坦的参数空间区域。我们提出了动量 - SAM（Momentum-SAM），通过在累积动量
PDF6 months ago
非对称分散式联邦学习
基于不对称拓扑结构和 Push-Sum 协议，DFedSGPSM 算法以解决共识优化问题为目标，结合 Sharpness Aware Minimization（SAM）优化器和本地动量，提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论
PDF9 months ago
ICML网络剪枝的三区模型
通过建立一个基于学习统计力学及 NN 模型训练超参数的温度与负载参数来预测预处理模型中超参数调整对下剪枝性能的影响，并通过三重模型来解释高温度的两极效应与全局结构的转移现象，并提出了三个本文实验案例应用：超参数调整、模型选择和剪枝效果最佳化
PDFa year ago
在客户端差分隐私下实现更平缓的模型优化路径和更好的泛化效果的联邦学习
通过梯度扰动和局部平坦模型来提高权重扰动鲁棒性和性能，进而减少感知信息泄露，DP-FedSAM 算法在 DPFL 中达到最先进的性能。
PDFa year ago
CVPR差分隐私联邦学习中降低横向溢出
DP-FedSAM 是一种新的 DPFL 算法，它利用梯度扰动来减轻 DP 的负面影响，并整合 SAM 优化器来生成具有更好稳定性和权重扰动鲁棒性的本地平坦模型，从而提高性能并提供隐私保证。
PDFa year ago
AdaSAM: 自适应学习率和动量的锐度感知最小化，用于深度神经网络训练
此论文分析了 AdaSAM 在随机非凸环境下的收敛速度，证明了 AdaSAM 的收敛速度为 O（1/√（bT）），具有线性加速性质，随机梯度步骤与自适应学习率和扰动梯度分别分解分析，证明了自适应学习率具有有限的范围，为 SAM 和自适应学习
PDFa year ago
基于锐度感知最小化实现的广义联邦学习
本文提出了一种名为 FedSAM 的基于 Sharpness Aware Minimization (SAM) 本地优化器的泛化学习算法，以解决 FL 中的数据异构性问题，并在理论上证明了其几何级数的收敛性和泛化边界。在实证方面，我们的算法
PDF2 years ago