神经网络中的数据依赖路径归一化

Nov, 2015

Data-Dependent Path Normalization in Neural Networks

Behnam Neyshabur, Ryota Tomioka, Ruslan Salakhutdinov, Nathan Srebro

TL;DR本文提出了一个统一的神经网络标准化、正则化和优化框架，其中包括 Path-SGD 和 Batch-Normalization，并在两个不同的维度上插值于它们之间。通过这个框架，我们研究了优化的不变性、数据依赖性以及与自然梯度的联系。

Abstract

We propose a unified framework for neural net normalization, regularization and →