本研究展示了使用适当的初始化方案可以简单地训练具有一万层或更多层的普通卷积神经网络，并演示了这些随机正交卷积核的生成算法以及它们实现极深网络的高效训练能力。

Jun, 2018

研究表明，使用正交性标准化的变种正则化方法和基于 “准同构假设” 的反向错误调节机制可以在不使用任何快捷方式 / 身份映射的情况下，训练一种特定结构（重复三模块的 Conv-BNReLU）的极深卷积神经网络（CNN），实验结果表明，这种方法可以在 CIFAR-10 和 ImageNet 数据集上显着提高 44 层和 110 层的网络的性能，并且可以成功地通过新的设计原则和残差结构来设计网络结构以获得相似的 ImageNet 数据集上的表现。

Mar, 2017

通过神经切线核理论和 Deep Kernel Shaping 方法，我们成功控制了深度神经网络的初始化时间内核函数的 “形状”，实现了无归一化层的残差网络的快速 SGD 训练，并同时提高了一些传统上性能非常差的激活函数的结果。

Oct, 2021

本文提出了一种具有对称连接多层卷积和反卷积操作的深度全卷积编码 - 解码框架，通过跳层连接缓解了梯度消失的问题，实现了优越的图像修复性能。

Mar, 2016

深度神经网络已经在各种图片分类基准测试中显示出优秀的性能，而 ResNet 的一个新的简单的 Dirac 参数化指标，在训练时间计算成本上具有较小的成本，在推理阶段几乎没有任何成本，同时比 ResNet 具有类似的性能，并减少残差网络以及非残差网络的初始化需要。

Jun, 2017

本文通过使用小的卷积滤波器的架构，对不断增加深度的网络的精度进行了全面评估，表明通过将深度推到 16 至 19 个权重层，可以显著提高以往技术水平，并在 ImageNet Challenge 2014 中获得了第一和第二名。我们还证明了该表示法在其他数据集上具有很好的泛化性能，并公开了我们表现最佳的两个 ConvNet 模型，以便进一步研究深度视觉表示在计算机视觉中的应用。

Sep, 2014

介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

Mar, 2021

本文旨在探讨如何在训练深度卷积神经网络时实现更有效和易于使用的（近）正交性权重。我们利用各种先进的分析工具，如相互相干性和受限等距性质，开发新型正交性正则化方法，可方便地应用于训练几乎任何卷积神经网络。通过在几个流行的计算机视觉数据集上使用 ResNet、WideResNet 和 ResNeXt 等最先进模型的基准测试，我们观察到使用这些提议的正则化方法后，模型的准确率和收敛速度都有更稳定的提高。我们已经将我们的代码和预训练模型公开。

Oct, 2018

该研究论文提出了一种深度卷积神经网络架构 ——Inception，该架构在 ImageNet 图像识别竞赛中取得了新的研究成果，提高了网络的深度和宽度，同时保持计算资源的稳定利用，并基于 Hebbian 原理和多尺度处理原则进行建构。具体表现为 GoogLeNet 网络，在分类和检测领域取得了不错的成绩。

Sep, 2014

本文介绍了一种新颖的基于图的变换不变性网络（TIGraNet），该网络可以学习基于图的特征，并对几何变换具有不变性，通过图谱卷积和动态图池化层替代经典的卷积和池化层，能够有效提高对于数据变异的鲁棒性和在有限的训练集上保持持续性能。

Mar, 2017