关键词sharpness-aware minimization
搜索结果 - 65
- AAAICR-SAM：曲率规则的锐度感知最小化
通过最小化最坏情况损失，使用单步梯度上升作为近似方法，我们提出了曲率正则化 SAM（CR-SAM），通过引入归一化的 Hessian 迹来准确测量训练和测试集上的损失曲线的曲率。我们的实证评估结果显示，CR-SAM 在各种数据集上持续提高了 - 过度参数化对锐度感知最小化的影响：实证与理论分析
训练过参数的神经网络可以得到相同训练损失水平但具有不同泛化能力的极小值。本文分析了过参数化对锐度感知最小化策略（SAM）行为的关键影响，并提供了经验和理论结果，表明过参数化对 SAM 具有重要影响。具体而言，我们证明了在随机设置中 SAM - 软升软降中的隐式正则化
通过提出一种更加鲁棒的程序 SoftAD，该程序通过减少边界点和限制异常值的影响，保留升降效果，实现与 SAM 和 Flooding 竞争性分类准确度，同时保持更小的损失泛化差距和模型规范化。
- 为何敏锐度感知最小化的泛化能力优于 SGD?
训练大型神经网络时，过拟合的挑战变得日益重要。为解决这一问题，Sharpness-Aware Minimization（SAM）作为一种有希望的训练方法出现，可在存在标签噪声的情况下提高神经网络的泛化性能。然而，对于非线性神经网络和分类任务 - ICLRTRAM：连接信任区域和锐度感知最小化
通过降低参数空间中损失曲面的曲率，锐度感知最小化（SAM）在域转换下实现了广泛的稳健性改进。本研究不关注参数，而是将表示的可转移性作为优化目标，在微调设置中进行跨域泛化的优化。我们考虑基于信任区域的微调方法，以鼓励保持可转移表示，并通过使用 - RSAM：使用黎曼尖锐感知最小化的流形学习
将尖锐感最小化 (SAM) 优化器推广到黎曼流形中，通过融合几何原理于优化中，增强模型的鲁棒性和泛化能力。
- 通过方差抑制增强对锐度感知优化
通过利用损失函数的几何特性，尤其是最小值邻域的平坦特性，锐度感知最小化（SAM）提高了深度神经网络的泛化能力，而无需大规模增强数据。本文的创新方法通过方差抑制（VaSSO）稳定了对手，并证明了在模型无关任务中，包括图像分类和机器翻译中，Va - 基于锐度感知的最小化与稳定边缘
最近的实验证明，使用梯度下降的神经网络在损失的 Hessian 算子范数增长到约等于 2 / 步长 η 后，就开始在该值周围波动。我们对 Sharpness-Aware Minimization（SAM）进行了类似的计算，得到了一个基于梯度 - DFedADMM：分散式联邦学习的双约束控制模型不一致性
通过使用新的 DFL 算法，DFedADMM 和 DFedADMM-SAM，我们解决了去中心化联邦学习中的局部一致性和局部异构过拟合的问题，并在 MNIST、CIFAR10 和 CIFAR100 数据集上验证了算法在泛化性能和收敛速度方面的 - 回溯优化器：k 步回溯，1 步前进
通过结合 Lookahead 优化器和锐度感知最小化技术，使用 Lookbehind 方法对深度神经网络进行训练，实现更好的稳定性和损失锐度的权衡，以提高泛化性能、鲁棒性和遗忘容忍度。
- 稀疏扰动锐度感知极小化优化器的系统研究
本文提出一种高效的 Sparse SAM 训练 scheme 来有效减少训练中的计算量，以达到平滑损失函数的目标，并提供了基于 Fisher information 和 dynamic sparse training 的两种不同的稀疏 ma - 增强强化学习的泛化性和可塑性以提高样本效率
通过对 off-policy RL 算法强化学习算法进行实证分析，我们发现，Sharpness-Aware Minimization 和 reset 机制的联合使用可以提高网络的适应性和计算效率，具有较高的泛化性和可塑性。
- 实用锐度感知优化无法完全收敛至最优点
研究了具有实际配置的确定性 / 随机 Sharpness-Aware 最小化（SAM）的收敛性质，并发现它们与使用衰减扰动大小或在 yt 中使用梯度归一化的 SAM 版本的特征明显不同。
- 规范层是 Sharpness-Aware 最小化的全部需求
本文研究了对小部分参数进行扰动的 Sharpness-aware minimization (SAM) 的性能，并通过实验结果证明，只操作正规化处理中几乎不占比例的仿射变换参数能比全局扰动得到更好的效果。
- ICML去中心化 SGD 和平均方向 SAM 在渐近情况下等价
本文挑战了常规信念，提出了一种完全新的角度来理解分散学习，证明了分散随机梯度下降隐含地最小化了一种平均方向锐度感知最小化算法的损失函数，在常规非凸非 $/beta/$ - 平滑设置下的这种惊人的渐近等价关系揭示了一种本质上的正则化 - 优化 - KDD锐度感知最小化的再探：锐度加权作为正则化项
本文介绍了一种更通用的方法 WSAM 来提高神经网络的泛化能力，该方法结合了 Sharpness-Aware Minimization 的优点作为正则化项，并通过 PAC 和 Bayes-PAC 技术证明了其泛化上界。在公共数据集上的实验表 - 锐度感知最小化导致低秩特征
Sharpness-aware minimization (SAM) method can reduce feature ranks in various types of neural networks, and the phenomen - 正则化在尖锐度感知极小化中的关键作用
本研究探讨了 Sharpness-Aware Minimization (SAM) 优化算法中 normalization 组件对于优化效果的影响，发现它在稳定算法和漂移的最小值连续谱上都发挥着重要作用，这使得 SAM 算法具有很好的鲁棒性 - 关于锐度感知最小化与对抗鲁棒性的关系
本文提出了一种新的对于锐度感知最小化（SAM）在对抗鲁棒性方面的理解，指出 SAM 和对抗训练（AT）都可以被视为特定的特征扰动，能够提高对抗鲁棒性，但两者在扰动强度上有所不同，换而言之，根据精度和鲁棒性的权衡不同。通过一个严谨的简化模型和 - ICLR利用锐度敏感的最小化策略
本文提出了一种自适应策略 AE-SAM 和 AE-LookSAM 来精准控制模型使用 sharpness-aware minimization（SAM）。经实验证明该方案具有较高效率和效果。