CVPRMar, 2017

超越良好初始：探索正交性和调制对训练极深卷积神经网络的更好解决方案

PDF
TL;DR研究表明，使用正交性标准化的变种正则化方法和基于 “准同构假设” 的反向错误调节机制可以在不使用任何快捷方式 / 身份映射的情况下，训练一种特定结构（重复三模块的 Conv-BNReLU）的极深卷积神经网络（CNN），实验结果表明，这种方法可以在 CIFAR-10 和 ImageNet 数据集上显着提高 44 层和 110 层的网络的性能，并且可以成功地通过新的设计原则和残差结构来设计网络结构以获得相似的 ImageNet 数据集上的表现。
发现论文，激发创造
  • 深度卷积神经网络训练中正交正则化是否有更多优势？

    本文旨在探讨如何在训练深度卷积神经网络时实现更有效和易于使用的（近）正交性权重。我们利用各种先进的分析工具，如相互相干性和受限等距性质，开发新型正交性正则化方法，可方便地应用于训练几乎任何卷积神经网络。通过在几个流行的计算机视觉数据集上使用 ResNet、WideResNet 和 ResNeXt 等最先进模型的基准测试，我们观察到使用这些提议的正则化方法后，模型的准确率和收敛速度都有更稳定的提高。我们已经将我们的代码和预训练模型公开。

    Oct, 2018

  • 正交卷积神经网络

    通过对卷积内核使用双倍块 Toeplitz 矩阵表示法而不是常见的内核正交化方法，我们开发了一种有效的方法来对卷积层施加过滤器正交性。我们的正交卷积方法不需要额外的参数和计算负载，并在广泛的任务中稳定性、鲁棒性和泛化性方面优于内核正交性替代方案。

    Nov, 2019

  • CNN 的动态同构性及均场理论：如何训练一万层 Vanilla 卷积神经网络

    本研究展示了使用适当的初始化方案可以简单地训练具有一万层或更多层的普通卷积神经网络，并演示了这些随机正交卷积核的生成算法以及它们实现极深网络的高效训练能力。

    Jun, 2018

  • 卷积归一化：提高深度卷积网络的鲁棒性和训练效果

    介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

    Mar, 2021

  • 使用解耦范数实现更好的正交性约束，训练深度卷积神经网络

    提出了一种用于改善卷积神经网络中的正交性的新方法，解决了传统正交性方法中对于模型容量提升的难题。通过我们的正交性偏差度量和我们的正交性放松理论，我们的工具包实现了最先进的性能和更加鲁棒的模型特征。

    Jun, 2023

  • 加速用于分类和检测的非常深的卷积网络

    本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的 CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在 Object detection 中实现了优雅的精度降级。

    May, 2015

  • MoDL: 逆问题的基于模型的深度学习架构

    该研究提出了一种基于卷积神经网络的模型重建框架，实现了解决逆问题的途径。该框架克服了深度学习方法中过多参数所占用的训练数据和时间上的需求问题，并在重构图像方面取得了显著成果。

    Dec, 2017

  • 随机正交加性滤波器：深度神经网络梯度消失 / 爆炸问题的解决方案

    本文提出了一种新的神经网络结构，旨在避免消失／爆炸梯度问题，既解决了该问题，又取得了比许多其他结构更好的性能表现，它的核心思想是通过滤波和正交加和来实现非线性激活层之间的结合，从而防止梯度消失或爆炸，并成功应用于超过 50k 层和 10k 个时间步长的神经网络任务。

    Oct, 2022

  • 视觉模型适应和鲁棒性的群正交化正则化

    该研究提出了一种计算效率较高的正则化技术，通过鼓励同一层内的过滤器组之间的正交性来减少卷积过滤器之间的冗余性，并通过将其应用于扩散模型和视觉转换器（ViTs）的自适应方法中，提高了下游任务的性能，同时在对抗训练期间实施组正交性时还改善了鲁棒性。

    Jun, 2023

  • 深度卷积神经网络用于图像反问题

    使用深度卷积神经网络，结合直接反演、多分辨率分解和残差学习等技术来解决病态反问题，实验证明，在稀疏采样下，该方法能在不到一秒的时间内重建 512 x 512 的图像，取得了比迭代正则化平滑重建更好的效果。

    Nov, 2016