flatness | BriefGPT - AI 论文速递

关键词flatness

搜索结果 - 7

通过平衡学习提高特征质量的锐度感知最小化
Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。
PDFa month ago
尖锐度最小化算法不仅仅通过最小化尖锐度来达到更好泛化
尽管进行了广泛的研究，但超参数化神经网络为何能够泛化的根本原因仍然不清楚。本研究通过理论和实证研究指出，对于两层 ReLU 网络，（1）平坦确实意味着泛化；（2）存在不泛化的最平坦模型，锐度最小化算法无法泛化；（3）最令人惊讶的是，存在不泛
PDFa year ago
相对平坦度感知的最小化（FAM）
通过引入一种相对平坦度度量方法，本研究提出一种新的正则化器，该正则化器易于计算、快速高效，适用于各种损失函数，可以在单层网络上计算海森矩阵，提高模型的泛化性能，有效避免了损失曲面映射的昂贵代价。
PDFa year ago
具有连接切线核的尺度不变贝叶斯神经网络
该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题，避免了参数总体规模变化对网络泛化性能的影响，从而提高了 Laplace 对数似然近似算法的不确定性校准效果。
PDF2 years ago
环面上的深度神经网络：消除对称性揭示平衡点结构的几何形态
通过探索误差空间，我们证明了最小值的平坦程度与泛化性能的相关性，并发现在函数空间中，最小值之间的距离更近略微平坦，通过优化算法可以连接彼此
PDF2 years ago
ICCV将对抗鲁棒性普适性与平坦极小值联系起来
本文研究了 Robust Generalization 与 Robust Loss Landscape 的关系，设计了衡量该 Landscape 平坦性的度量，并验证了平坦的 Landscape 有助于提高 Adversarial Trai
PDF3 years ago
相对平坦性和泛化
本文研究了损失曲线的平直性与机器学习模型的泛化能力之间的联系，通过推导出代表性数据的概念，并提出新的相对平直性的度量方法，解决了薄板回归等复杂度量方法所带来的重新参数化的问题。
PDF5 years ago