Jun, 2019
通过过度参数化将神经网络嵌入半扁平极小点和鞍点
Semi-flat minima and saddle points by embedding neural networks to overparameterization
Kenji Fukumizu, Shoichiro Yamaguchi, Yoh-ichi Mototake, Mirai Tanaka
TL;DR本文理论研究了过参数化情况下神经网络的训练误差，考虑了将网络嵌入更宽的网络中的三种方法，并讨论了更窄的网络的最小点是否会成为更宽网络的最小点或鞍点。我们的结果表明，具有平滑和 ReLU 激活的网络在嵌入点周围具有不同程度的平坦区域。我们还将这些结果与其在过参数化实现中的泛化能力的差异联系起来。