BriefGPT.xyz
Mar, 2018
神经网络中超参数化的强大作用与二次激活函数
On the Power of Over-parametrization in Neural Networks with Quadratic Activation
HTML
PDF
Simon S. Du, Jason D. Lee
TL;DR
本文研究了神经网络学习中超参数化的有效性，提出了一种使用局部搜索算法寻找全局最优解的方法，并使用Rademacher复杂性理论证明了在权重衰减的情况下，解决方案在数据采样自正态分布等正则分布的情况下也能很好地推广，同时还分析了具有二次激活函数和n个训练数据点的k个隐藏节点浅层网络的本质性质。
Abstract
We provide new theoretical insights on why
over-parametrization
is effective in learning
neural networks
. For a $k$ hidden node shallow network with quadratic activation and $n$ training data points, we show as l
→