BriefGPT.xyz
Jan, 2013
大型神经网络浪费容量
Big Neural Networks Waste Capacity
HTML
PDF
Yann N. Dauphin, Yoshua Bengio
TL;DR
该研究发现，一些较大的神经网络在增加容量以减少欠拟合方面失败，这可能是由于训练误差方面容量的收益急剧减少导致的，指出了优化方法（一阶梯度下降）在这种情况下失败。通过直接解决这个问题，可以通过优化方法或参数化选择来改善需要大容量的大型数据集上的泛化误差。
Abstract
This article exposes the failure of some big
neural networks
to leverage added capacity to reduce
underfitting
. Past research suggest
diminishing
→