Oct, 2017
SGD 学习过参数化的网络,并可应用于线性可分数据的证明泛化
SGD Learns Over-parameterized Networks that Provably Generalize on Linearly Separable Data
Alon Brutzkus, Amir Globerson, Eran Malach, Shai Shalev-Shwartz
TL;DR通过学习两层的过参数化神经网络在使用 Leaky ReLU 激活函数的情况下,为 SGD 进行了优化和泛化的保证,具有独立于网络规模的泛化保证。