采用一层隐含层的浅层有监督神经网络，依次构建层级式深度网络，使用一些简单的架构和训练技巧，能够在 ImageNet 数据集上表现优于 AlexNet，并且建立 2 或 3 个隐含层的辅助问题，可构建超过 VGG 模型家族的 11 层网络，且训练精度能够达到端到端学习的水平。

Dec, 2018

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

Sep, 2023

本文证明了深度（分层）网络可以近似组合函数，其准确度与浅层网络相同，但训练参数以及 VC 维度指数级地减少，并定义了一般类可扩展和平移不变算法来证明深度卷积网络的简单和自然的一组要求。

Mar, 2016

通过理论分析，文章探讨了深度神经网络的泛化能力与网络深度之间的关系，并且指出卷积层等具有信息损失的深层结构可以提高整个网络的泛化性能。但是随着网络深度的增加，拟合数据的信息损失也会增大，也就是网络深度与训练误差之间有一定的条件关系。此外，文章还表明深度神经网络具有一定的稳定性，随着网络深度的增加，样本复杂度会降低。

Apr, 2018

本文提出了一种有效的三阶段程序来量化成功的深度学习机制，通过 VGG-16、VGG-6 和 AVGG-16 的定量分析，发现每个 Convolutional 层的过滤器会选择一个独立于输入标签的单个输出标签子集，这是该机制不可或缺的一部分，并随着层数的增加而逐渐被加强，进而提高了信噪比和成功率，通过该机制，可以精确地识别每个过滤器的质量，有望指导进一步的程序改进深度学习的成功率、计算复杂度和延迟。

May, 2023

通过量化测量每个层的单个滤波器的质量，基于 CIFAR-10 上的 VGG-16 的有限深度架构和数据集的成功深度学习的潜在机制被提出，并验证了对 CIFAR-100 和 ImageNet 数据集上训练的 VGG-16 和 EfficientNet-B0 的普遍机制，结果表明准确率随着层次的增加而逐渐提高，噪声逐渐减少，滤波器最大误差率与输出标签数量近似线性增加，滤波器簇的平均尺寸和每个滤波器上的簇数在 [3, 1,000] 范围内，几乎与数据集标签数无关，同时保持较高的信噪比。该研究为改善深度结构的计算复杂性和准确性提供了几种技术，如应用滤波器的簇连接（AFCC），并强调了在保持准确性的同时简化现有结构。

Sep, 2023

本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。

Aug, 2016

本文研究如何通过层次学习实现深度神经网络对于复杂任务的高效学习，并提出了基于反向特征修正的新原则。在技术上，研究表明使用 SGD 算法的 ω(1) 层神经网络可以在多项式时间复杂度内，并通过表示为二次函数复合的 ω(1) 层来学习满足特定条件的函数类，没有已知的其他算法可在同样时间内实现。

Jan, 2020

简述：对深度学习的理论研究逐渐深入，从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式，已经有了一些解释；通过在分类任务中使用经典的均匀收敛结果，我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性，从而解决了与深度网络泛化性能相关的一些谜团。

Aug, 2019