Apr, 2018
通过强制利普希茨连续性来正则化神经网络
Regularisation of Neural Networks by Enforcing Lipschitz Continuity
Henry Gouk, Eibe Frank, Bernhard Pfahringer, Michael J. Cree
TL;DR研究神经网络与输入的 Lipschitz 连续性约束,提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术,进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解,实验证明该方法优于其他常用规则化器,特别是在仅有少量训练数据时。