Feb, 2020
一层宽层后金字塔拓扑的深度网络全局收敛
Global Convergence of Deep Networks with One Wide Layer Followed by Pyramidal Topology
Quynh Nguyen, Marco Mondelli
TL;DR针对深度神经网络的全局最小化问题,证明对于采用金字塔形拓扑结构,且只有第一层宽度为 N 的深度神经网络,可以找到和宽度多项式增长时相似的最小值。并且将该结果应用于 LeCun 的初始化方法,得到了单大宽度层的超参数要求为 N ^ 2 的结论。