NIPSOct, 2018

深度卷积神经网络训练中正交正则化是否有更多优势？

PDF
TL;DR本文旨在探讨如何在训练深度卷积神经网络时实现更有效和易于使用的（近）正交性权重。我们利用各种先进的分析工具，如相互相干性和受限等距性质，开发新型正交性正则化方法，可方便地应用于训练几乎任何卷积神经网络。通过在几个流行的计算机视觉数据集上使用 ResNet、WideResNet 和 ResNeXt 等最先进模型的基准测试，我们观察到使用这些提议的正则化方法后，模型的准确率和收敛速度都有更稳定的提高。我们已经将我们的代码和预训练模型公开。
deep convolutional neural networksorthogonality regularizationsmutual coherencestate-of-the-art modelscomputer vision datasets
发现论文，激发创造
  • 使用解耦范数实现更好的正交性约束，训练深度卷积神经网络

    提出了一种用于改善卷积神经网络中的正交性的新方法，解决了传统正交性方法中对于模型容量提升的难题。通过我们的正交性偏差度量和我们的正交性放松理论，我们的工具包实现了最先进的性能和更加鲁棒的模型特征。

    Jun, 2023

  • 超越良好初始：探索正交性和调制对训练极深卷积神经网络的更好解决方案

    研究表明，使用正交性标准化的变种正则化方法和基于 “准同构假设” 的反向错误调节机制可以在不使用任何快捷方式 / 身份映射的情况下，训练一种特定结构（重复三模块的 Conv-BNReLU）的极深卷积神经网络（CNN），实验结果表明，这种方法可以在 CIFAR-10 和 ImageNet 数据集上显着提高 44 层和 110 层的网络的性能，并且可以成功地通过新的设计原则和残差结构来设计网络结构以获得相似的 ImageNet 数据集上的表现。

    Mar, 2017

  • 视觉模型适应和鲁棒性的群正交化正则化

    该研究提出了一种计算效率较高的正则化技术，通过鼓励同一层内的过滤器组之间的正交性来减少卷积过滤器之间的冗余性，并通过将其应用于扩散模型和视觉转换器（ViTs）的自适应方法中，提高了下游任务的性能，同时在对抗训练期间实施组正交性时还改善了鲁棒性。

    Jun, 2023

  • 正交卷积神经网络

    通过对卷积内核使用双倍块 Toeplitz 矩阵表示法而不是常见的内核正交化方法，我们开发了一种有效的方法来对卷积层施加过滤器正交性。我们的正交卷积方法不需要额外的参数和计算负载，并在广泛的任务中稳定性、鲁棒性和泛化性方面优于内核正交性替代方案。

    Nov, 2019

  • 局部约束异相关性正则化卷积神经网络

    本文介绍了一种名为 OrthoReg 的深度学习正则化技术，通过局部强制特征正交性，有效减少负相关特征权重之间的干扰，提高了特征去相关化的效果，降低了过拟合现象，可用于多种卷积神经网络数据集。

    Nov, 2016

  • 训练 DNNs 中的可控正交化

    本文提出了一种使用牛顿迭代法的正交化方法 (ONI)，它可以通过进行迭代来控制权重矩阵的正交性，同时保持模型的表征能力，从而有效地提高图像分类网络和生成对抗网络 (GANs) 的性能。

    Apr, 2020

  • 卷积归一化：提高深度卷积网络的鲁棒性和训练效果

    介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

    Mar, 2021

  • 学习正交深度线性神经网络的收敛分析

    通过对正交性进行收敛性分析，揭示了正交性对训练深度神经网络的收敛速度的影响，并通过实验证实了理论分析的有效性。

    Nov, 2023

  • 关于正交性和学习具有长期依赖性的递归网络

    本文探讨了针对深度神经网络和循环神经网络中的梯度消失或梯度爆炸问题，使用正交矩阵作为约束条件以保持梯度范数，并且提出了一种使用矩阵分解和参数化策略的方法以控制反向传播期间所导致的扩张性。通过分析，本文发现硬正交矩阵约束会对收敛速度和模型性能产生负面影响。

    Jan, 2017

  • 广义反向传播，案例研究：正交性

    本研究介绍了一种新的 backpropagation 算法，并使用 Riemannian 几何和优化技术在矩阵流形上实现了层与层之间约束权重的深度神经网络，特别是引入了 Stiefel 层，对于无监督的特征学习至细粒度图像分类有很多好处。

    Nov, 2016