关于卷积神经网络学习收敛速度的研究

Mar, 2024

关于卷积神经网络学习收敛速度的研究

On the rates of convergence for learning with convolutional neural networks

Yunfei Yang, Han Feng, Ding-Xuan Zhou

TL;DR卷积神经网络的近似和学习能力的研究，证明了满足权重约束的卷积神经网络的新逼近界限，并给出了覆盖神经网络的新分析，从而得到了更好的收敛界限，并利用这两个结果在许多学习问题中推导了基于卷积神经网络的估计器的收敛速度，对于学习平滑函数的非参数回归设置和二元分类中的卷积神经网络分类器的 Hinge 损失和 Logistic 损失，得到了最优的收敛速度。

Abstract

We study the approximation and learning capacities of convolutional neural networks (CNNs). Our first result proves a new approximation bound for CNNs with certain constraint on the weights. Our second result giv

convolutional neural networks approximation bound learning capacities covering number convergence rates

发现论文，激发创造

ResNet 类型卷积神经网络的近似与非参数估计

本文证明了一种 ResNet 型 CNN 模型在具有 block-sparse 结构的情况下可以在 Barron 和 H"older 类中实现 minimax 优化差错率，并且该理论具有普适性。

Mar, 2019

学习一层卷积神经网络的样本复杂度

我们研究了使用不重叠过滤器的一层卷积神经网络的样本复杂度，并提出了一种称为近似梯度下降的新算法来训练 CNN，该算法在随机初始化时具有地面真值参数的线性收敛性，并且适用于常规的激活函数，例如 ReLU，Leaky ReLU，Sigmod 和 Softplus 等。我们的样本复杂度超过现有结果，并匹配了具有线性激活函数的一层 CNNs 的信息论下界，表明我们的样本复杂度是紧致的。

Nov, 2019

关于卷积神经网络 Lipschitz 界的研究

本文介绍一个可以估算 CNN 网络的 Lipschitz bound 的线性程序，并使用其测量特性分离的非线性判别分析。

Aug, 2018

梯度下降学习的超参数化卷积神经网络图像分类器收敛速率分析

基于过参数化卷积神经网络的图像分类，采用全局平均池化层进行考虑。通过梯度下降学习网络的权重，推导出新引入的卷积神经网络估计的错误分类风险与最小可能值之间收敛速度的界限。

May, 2024

非线性卷积网络的高效准确近似

本文旨在加速深度卷积神经网络的测试时间计算，通过最小化非线性响应的重建误差，附加一种低秩约束，以帮助降低过滤器的复杂度，该算法可以减小多层输入的叠加误差并提高模型精度，可将 ImageNet 的训练速度提升 4 倍，精度提高 4.7%。

Nov, 2014

浅层 ReLU$^k$ 神经网络的最优逼近速率及其在非参数回归中的应用

研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

Apr, 2023

使用近似梯度下降学习图神经网络

该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。

Dec, 2020

深度神经网络分类的快速收敛速率

本文研究使用 hinge loss 训练的 ReLU 激活函数的深度神经网络分类器的快速收敛速率，并通过数值研究比较了 hinge loss 和交叉熵作为损失函数时的效果。

Dec, 2018

深度卷积神经网络的泛化和优化性能理解

本文理论分析卷积神经网络（CNN）的泛化性能、梯度下降训练算法的优化保证，证明了 CNN 的泛化误差由自由度和体系结构参数决定，并证明了梯度下降算法的近似稳定点是人口风险的近似稳定点，保证了 CNN 的良好泛化性能。

May, 2018

神经网络的 Lipschitz 界分析

本文提出了利用 Lipschitz Bound Estimation 保证深度神经网络对抗攻击鲁棒性的有效方法，并通过图形分析支持 CNN 获得非平凡 Lipschitz constant 的困难。同时，采用 Toeplitz 矩阵将 CNN 转换为完全连接的网络，并运用实验证明了在特定数据分布中实际 Lipschitz constant 与获得紧密界定之间存在的 20-50 倍的差距。针对不同网络架构在 MNIST 和 CIFAR-10 上进行全面实验和比较分析。

Jul, 2022