Mar, 2019
超参数化神经网络中的隐式正则化
Implicit Regularization in Over-parameterized Neural Networks
Masayoshi Kubo, Ryotaro Banno, Hidetaka Manabe, Masataka Minoji
TL;DR本文通过引入梯度间隙偏差和梯度偏转等统计量,从理论和实证角度研究了内隐正则化在 ReLU 神经网络中的运作方式,结果表明通过随机初始化和随机梯度下降的方式有效地控制网络输出,使其在样本之间直线插值且负责度较低。