传统卷积神经网络在视觉任务中通过局部性和权重共享的归纳偏差来获得出色的性能。本研究通过引入动态信号分布分类任务，证明了在平移不变任务中，卷积神经网络相比于局部连接卷积神经网络和全连接神经网络具有统计优势，并展示了在本地任务中，局部连接卷积神经网络相比于全连接神经网络具有地域性的好处。

Mar, 2024

本文研究卷积网络对其输入区域之间相关性的建模能力，并通过理论分析和实证验证，证明深度网络的池化几何形状是控制感性偏差的一种手段，使其在输入不同类型的数据时可以适应不同的偏差方向。

May, 2016

本研究破解了学习理论中的一道难题，证明了深度卷积神经网络（CNN）是通用的，可以通过增加深度来达到任意精度的连续函数逼近，并且在处理大维度数据方面非常高效。同时我们的研究证明了卷积在深度 CNN 中的重要作用。

May, 2018

本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

May, 2017

本文利用深层多通道卷积神经网络分析了线性特征提取，展示了深度学习在传统线性变换如傅立叶、小波和冗余字典编码方法之上的优越性，并提出了一种有效的线性特征提取构造方法。同时，研究了采用通道实现深度网络较低的实质维数的函数逼近速率，因子化线性特征为多分辨率卷积的谐波分析在本研究中具有重要作用。此外，文章还构建了一种矩阵的专用向量化，桥接了一维 CNN 和二维 CNN，并允许我们进行相应的二维分析。

Oct, 2022

本研究通过实验对基于梯度下降的线性和 ReLU 网络的隐式正则化进行了探讨，并提供了卷积神经网络，$\ell_2$ 规范、归纳偏置、规范化器和梯度下降等方面的理论研究。

Feb, 2021

论文讨论卷积神经网络近似可逆性及其在稀疏信号恢复方面的数学模型，并给出一种精确的模型基础压缩感知与其恢复算法和随机权重 CNN 的连接。作者通过实验得出多个学习网络与数学分析一致，以简单的理论框架合理地重构实际图片。同时，作者也探讨了我们的模型假设与实际场景分类训练的 CNN 之间的差距。

May, 2017

卷积神经网络的近似和学习能力的研究，证明了满足权重约束的卷积神经网络的新逼近界限，并给出了覆盖神经网络的新分析，从而得到了更好的收敛界限，并利用这两个结果在许多学习问题中推导了基于卷积神经网络的估计器的收敛速度，对于学习平滑函数的非参数回归设置和二元分类中的卷积神经网络分类器的 Hinge 损失和 Logistic 损失，得到了最优的收敛速度。

Mar, 2024

该研究通过比较卷积神经网络（CNN）和全连接网络（FCN）在损失景观中的动态性来探讨它们究竟有什么不同。他们引入了一种将 CNN 映射为其等效 FCN（称为 eFCN）的方法，以直接在 FCN 空间中比较 CNN 和 FCN 的培训动态。该研究还测试了一种新的培训协议，证明了 eFCN 对于某些中间时刻可以优于 CNN。这表明在优化的早期阶段，CNN 的先验有助于浏览损失景观，从而实现更好的泛化。

Jun, 2019

对一种自然分布的任务进行的研究表明，对于标准训练算法，任何正交不变算法（即用大多数梯度下降法从高斯初始化中训练的全连接网络）需要 Ω（d²）个样本才能推广，而卷积神经网络只需要 O（1）个样本就足够了。

Oct, 2020