Jan, 2019
神经网络泛化中的一种新视角 —— 刚度
Stiffness: A New Perspective on Generalization in Neural Networks
Stanislav Fort, Paweł Krzysztof Nowak, Stanislaw Jastrzebski, Srini Narayanan
TL;DR本文提出并研究了神经网络刚度的概念并探讨了其与泛化的关系,研究表明刚度与学习率相关,同时在 MNIST、FASHION MNIST、CIFAR-10/100 等数据集上进行了实验。