ICMLJan, 2019
过参数化的两层神经网络的优化与泛化的细粒度分析
Fine-Grained Analysis of Optimization and Generalization for Overparameterized Two-Layer Neural Networks
Sanjeev Arora, Simon S. Du, Wei Hu, Zhiyuan Li, Ruosong Wang
TL;DR该论文分析了一个简单的 2 层 ReLU 网络的训练和泛化,通过对相关内核的特性进行追踪,提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。