ICLRSep, 2019
深度学习的隐性偏见:渐增学习如何推动泛化
The Implicit Bias of Depth: How Incremental Learning Drives Generalization
Daniel Gissin, Shai Shalev-Shwartz, Amit Daniely
TL;DR本文定义了增量学习动力学的概念并证明了在深度为多项式关系和初始化条件正确的情况下,神经网络可以展现出增量学习能力,且通过实验证明在使用深度学习模型中,梯度下降算法有助于寻找简单的模型解。