拟合深度学习基础理论的神经网络架构 —— 卷积层可以达到与深度卷积神经网络类似的性能，并有一个可识别其普遍行为的幂律现象。

Nov, 2022

通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

Sep, 2023

本文通过使用小的卷积滤波器的架构，对不断增加深度的网络的精度进行了全面评估，表明通过将深度推到 16 至 19 个权重层，可以显著提高以往技术水平，并在 ImageNet Challenge 2014 中获得了第一和第二名。我们还证明了该表示法在其他数据集上具有很好的泛化性能，并公开了我们表现最佳的两个 ConvNet 模型，以便进一步研究深度视觉表示在计算机视觉中的应用。

Sep, 2014

提出了一种简单的卷积神经网络架构 (SimpleNet)，在保持计算和内存效率的同时，具有与更复杂的 CNN 相媲美的性能，在多个基准测试中表现出色，包括 CIFAR-10，MNIST，CIFAR-100 和 SVHN，甚至在 ImageNet 数据集中也优于许多更大更深的 CNN 模型。

Aug, 2016

本文提出了一种残差学习框架，以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务，以及在 COCO 目标检测数据集上取得了 28% 的相对提升。

Dec, 2015

该研究论文提出了一种深度卷积神经网络架构 ——Inception，该架构在 ImageNet 图像识别竞赛中取得了新的研究成果，提高了网络的深度和宽度，同时保持计算资源的稳定利用，并基于 Hebbian 原理和多尺度处理原则进行建构。具体表现为 GoogLeNet 网络，在分类和检测领域取得了不错的成绩。

Sep, 2014

通过在训练过程中，在某些中间层之后添加辅助监督分支，形成深度监督结构，其训练更容易，且在 ImageNet 和较大的 MIT Places 数据集上获得更好的分类效果。

May, 2015

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

本文提出了一种基于层的鉴别性学习方法来增强深度神经网络的鉴别能力，在多个层上引入多个分类器，使它们协同工作进行分类，通过对多个深度网络和基准数据集的实验，证明了该方法的有效性，并分析了该方法和经典条件随机场模型之间的关系。

Jul, 2016

本文介绍一种名为 Contrastive Deep Supervision 的新型训练框架，该框架使用基于 augmentation 的对比学习来监督中间层，从而在多种深度学习任务上取得了显著的效果。

Jul, 2022