Jun, 2024

单变量ReLU网络中稳定的极小值无法过拟合:大步长的泛化

TL;DR我们研究了具有噪声标签的一元非参数回归问题中两层ReLU神经网络的泛化。我们提出了一种新的局部极小值泛化理论,证明了梯度下降算法在常数学习率下能稳定收敛至该极小值。我们证明了在合理的假设下,梯度下降算法可以找到表示平滑函数的局部极小值,并给出了均方误差的近乎最优上界。我们的理论结果通过大量模拟验证,表明大学习率训练可以得到稀疏线性样条拟合。我们是第一个在非插值情况下通过极小值稳定性获得泛化界限的研究,并且证明了没有正则化的ReLU神经网络可以在非参数回归中实现接近最优的速率。