BriefGPT.xyz
Feb, 2017
通过电动力学的神经网络收敛结果
Electron-Proton Dynamics in Deep Learning
HTML
PDF
Qiuyi Zhang, Rina Panigrahy, Sushant Sachdeva, Ali Rahimi
TL;DR
研究了深度为二的神经网络是否可以使用梯度下降学习另一个深度为二的网络，并且通过电动力学的方式证明了梯度下降算法是否能够收敛到目标函数中。基于此，证明了存在一种激活函数，使得梯度下降学习至少一个目标网络中的隐藏节点，并且可以通过迭代的方式逐步学习整个网络。
Abstract
We study the efficacy of learning neural networks with neural networks by the (stochastic)
gradient descent
method. While
gradient descent
enjoys empirical success in a variety of applications, there is a lack of
→