BriefGPT.xyz
Jun, 2015
Path-SGD：深度神经网络中的路径归一化优化
Path-SGD: Path-Normalized Optimization in Deep Neural Networks
HTML
PDF
Behnam Neyshabur, Ruslan Salakhutdinov, Nathan Srebro
TL;DR
本文重新审视了使用SGD来训练深度神经网络的选择，通过重新考虑优化权重时所适当的几何方式，提出了一种几何不变，不受权重重放缩影响的Path-SGD方法，并结合与最大范数正则化相关的基于路径的正则化器，使用这种近似的最陡梯度下降方法，以改进SGD和AdaGrad的效果。
Abstract
We revisit the choice of
sgd
for training deep
neural networks
by reconsidering the appropriate
geometry
in which to optimize the weights.
→