随机梯度下降或架构的偏差：解开神经网络过参数化的影响

ICMLJul, 2024

随机梯度下降或架构的偏差：解开神经网络过参数化的影响

Bias of Stochastic Gradient Descent or the Architecture: Disentangling the Effects of Overparameterization of Neural Networks

PDF

Amit Peleg, Matthias Hein

TL;DR神经网络过拟合问题涉及超参数，随机梯度下降以及网络架构等因素，本文通过研究随机和经优化的网络来解析由优化和架构选择引起的泛化问题，实验证明对于增加的宽度，超参数化对泛化有益，并且这一益处源于随机梯度下降的偏差，而不是网络架构导致的；相反，对于增加的深度，超参数化对泛化不利，但随机和经优化的网络表现相似，因此这可以归因于架构偏差。

Abstract

neural networks typically generalize well when fitting the data perfectly, even though they are heavily overparameterized. Many factors have been pointed out as the reason for this phenomenon, including an implicit bias of stochastic gradient descent (SGD) and a possible simplicity bia

neural networks generalization overparameterization stochastic gradient descent architectural bias

发现论文，激发创造

存在糟糕的全局最小值，并且 SGD 可以到达它们

通过研究深度神经网络的显式正则化对随机梯度下降的作用，证实显式正则化对于高参数化的神经网络成功的贡献远比随机梯度下降方法更为重要。

Jun, 2019

神经网络过度参数化对梯度混乱和随机梯度下降的影响

本文研究神经网络架构如何影响训练速度，引入 “梯度混乱” 概念来分析。实验结果表明，增加神经网络宽度可以降低梯度混乱从而提高模型训练效率，而增加深度则会使训练效率降低。

Apr, 2019

通过结构化数据上的随机梯度下降学习超参数神经网络

本文研究了使用随机梯度下降法从随机初始化开始学习两层超参数化 ReLU 神经网络以进行多类分类问题，证明了当数据来自于分离度高的混合分布时，SGD 学习到的网络具有较小的泛化误差，分析了学习神经网络的几个方面并在合成数据和 MNIST 数据集上进行了实证验证。

Aug, 2018

迈向适度的过度参数化：为训练浅层神经网络提供全局收敛保证

本文探讨了神经网络的过度参数化现象对于梯度下降收敛至全域最优解所需的程度及类型，并结合实验结果以浅层神经网络和平滑激活函数为例，证明了只需参数数量高于数据集大小的平方根时，梯度下降随机初始化即可收敛至全域最优解。

Feb, 2019

网络宽度对随机梯度下降和泛化效果的影响：实证研究

通过超参寻优与一系列不同的神经网络模型，我们探究了过度参数化情况下随机梯度下降最终调整到的参数状态，并发现优化算法的最优超参数取决于一项被规范化的噪声参数，其与网络宽度等因素有关，这对各种类型的神经网络均成立，对于 ResNets 这样的网络同样存在相似的趋势。

May, 2019

深度学习的超参数化收敛理论

通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

Nov, 2018

神经网络中简化偏差的陷阱

本文旨在通过设计包含不同时简单性的多个预测特征的数据集，捕捉实际训练数据中的非鲁棒性，从理论和实证研究中发现简洁性偏见在训练神经网络中的作用及其对泛化和鲁棒性的影响，提出新算法以避免简洁性偏见的缺陷。

Jun, 2020

隐式偏差对于对角线线性网络 SGD 的影响：随机性的证明性效益

本文研究了随机梯度下降在对角线线性网络上的动态规律，证明了它比梯度下降的解具有更好的泛化性能，并发现收敛速度控制偏见效应的大小，结果支持了结构化噪声可以引起更好泛化性能的理论结论。

Jun, 2021

广泛和深度神经网络的随机梯度下降的泛化界限

研究深度神经网络的训练和泛化，在过度参数化的条件下，通过神经切向随机特征模型 (NTRF) 来限制泛化误差，并建立了神经切向内核 (NTK) 的联系。

May, 2019

单隐藏层神经网络梯度流性质与线性激活函数的研究

通过研究神经网络的超参数化和过拟合对梯度下降算法鲁棒性的影响，我们证明了过度参数化会引入伪平衡点，阻碍梯度下降算法的收敛。

May, 2023