BriefGPT.xyz
Sep, 2018
一类深度神经网络的无坏局部山谷损失景观
On the loss landscape of a class of deep neural networks with no bad local valleys
HTML
PDF
Quynh Nguyen, Mahesh Chandra Mukkamala, Matthias Hein
TL;DR
我们确定了一类过参数化的深度神经网络，使用标准激活函数和交叉熵损失，可以证明在参数空间中不存在坏的局部最小值，意味着这些网络没有次优的严格局部极小值。
Abstract
We identify a class of
over-parameterized
deep
neural networks
with standard
activation functions
and
→