BriefGPT.xyz
Aug, 2022
模型泛化：基于锐度感知优化的视角
Model Generalization: A Sharpness Aware Optimization Perspective
HTML
PDF
Jozef Marus Coldenhoff, Chengkun Li, Yurui Zhu
TL;DR
通过进行三个实验，我们证明了基于锐度感知的优化技术可以提供具有强大泛化能力的模型，并且进一步证明了自适应锐度感知的最小化算法可以提高非标准化数据的泛化性能，但需要进一步研究来确认。
Abstract
sharpness-aware minimization
(SAM) and adaptive
sharpness-aware minimization
(ASAM) aim to improve the
model generalization
. And in this p
→