梯度下降学习的超参数化卷积神经网络图像分类器收敛速率分析

May, 2024

梯度下降学习的超参数化卷积神经网络图像分类器收敛速率分析

Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent

PDF

Michael Kohler, Adam Krzyzak, Benjamin Walter

TL;DR基于过参数化卷积神经网络的图像分类，采用全局平均池化层进行考虑。通过梯度下降学习网络的权重，推导出新引入的卷积神经网络估计的错误分类风险与最小可能值之间收敛速度的界限。

Abstract

image classification based on over-parametrized convolutional neural networks with a global average-pooling layer is considered. The weigh

image classification over-parametrized convolutional neural networks global average-pooling layer gradient descent rate of convergence

发现论文，激发创造

训练超参数化深度神经网络的改进分析

本文提供了一种改进的分析方法来探究（随机）梯度下降训练深度神经网络的全局收敛，该方法比之前的研究工作以更加温和的过度参数化条件确定了问题相关参数的大小，包括更紧密的梯度下限和更清晰的算法轨迹路径描述。

Jun, 2019

关于卷积神经网络学习收敛速度的研究

卷积神经网络的近似和学习能力的研究，证明了满足权重约束的卷积神经网络的新逼近界限，并给出了覆盖神经网络的新分析，从而得到了更好的收敛界限，并利用这两个结果在许多学习问题中推导了基于卷积神经网络的估计器的收敛速度，对于学习平滑函数的非参数回归设置和二元分类中的卷积神经网络分类器的 Hinge 损失和 Logistic 损失，得到了最优的收敛速度。

Mar, 2024

迈向适度的过度参数化：为训练浅层神经网络提供全局收敛保证

本文探讨了神经网络的过度参数化现象对于梯度下降收敛至全域最优解所需的程度及类型，并结合实验结果以浅层神经网络和平滑激活函数为例，证明了只需参数数量高于数据集大小的平方根时，梯度下降随机初始化即可收敛至全域最优解。

Feb, 2019

超参数神经网络的自适应梯度方法的全局收敛性

提出了一种自适应梯度下降方法，可用于优化过度参数化的两层神经网络，并能在多项式时间内收敛到全局最小值，无需微调超参数，如步长计划，且超参数的级别与训练误差无关。

Feb, 2019

深度卷积神经网络的泛化和优化性能理解

本文理论分析卷积神经网络（CNN）的泛化性能、梯度下降训练算法的优化保证，证明了 CNN 的泛化误差由自由度和体系结构参数决定，并证明了梯度下降算法的近似稳定点是人口风险的近似稳定点，保证了 CNN 的良好泛化性能。

May, 2018

深度学习的超参数化收敛理论

通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

Nov, 2018

深度卷积神经网络的泛化界

本文基于 CIFAR-10 数据集的实验结果，提出卷积神经网络泛化误差的边界，包含训练损失、参数数量、损失函数的 Lipschitz 常数和权重与初始值的距离，且不受输入像素数和隐藏特征图的高度与宽度限制，最后与具体的实验结果进行对比。

May, 2019

梯度下降证明过参数化神经网络的最优化

本文研究表明，在神经网络中使用 ReLU 激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

Oct, 2018

单隐藏层神经网络梯度流性质与线性激活函数的研究

通过研究神经网络的超参数化和过拟合对梯度下降算法鲁棒性的影响，我们证明了过度参数化会引入伪平衡点，阻碍梯度下降算法的收敛。

May, 2023

深度线性神经网络梯度下降的收敛分析

本文研究在白化数据上，通过梯度下降来训练深度线性神经网络收敛到全局最优点的速度。当隐藏层数的维度不小于输入输出维度的最小值，并且初始化的权重矩阵大致平衡且初始损失小于任何秩缺失解时，可保证线性收敛。此外，在输出维度为 1 的情况下，即标量回归，这些条件是满足的，并且在随机初始化方案下具有恒定的概率达到全局最优解。

Oct, 2018