BriefGPT.xyz
Feb, 2017
深度不会导致糟糕的局部极小值
Depth Creates No Bad Local Minima
HTML
PDF
Haihao Lu, Kenji Kawaguchi
TL;DR
本文研究深度学习中通过证明只有深度，没有非线性性质也不会产生坏局部极小值，由此大大简化了之前证明前馈深度线性神经网络所有局部极小值也是全局极小值的方法，并推广到了深度线性模型的平方误差函数以外的情形。
Abstract
In
deep learning
, \textit{depth}, as well as \textit{
nonlinearity
}, create non-convex loss surfaces. Then, does depth alone create bad
local mini
→