本文旨在探讨如何在训练深度卷积神经网络时实现更有效和易于使用的（近）正交性权重。我们利用各种先进的分析工具，如相互相干性和受限等距性质，开发新型正交性正则化方法，可方便地应用于训练几乎任何卷积神经网络。通过在几个流行的计算机视觉数据集上使用 ResNet、WideResNet 和 ResNeXt 等最先进模型的基准测试，我们观察到使用这些提议的正则化方法后，模型的准确率和收敛速度都有更稳定的提高。我们已经将我们的代码和预训练模型公开。

Oct, 2018

通过对卷积内核使用双倍块 Toeplitz 矩阵表示法而不是常见的内核正交化方法，我们开发了一种有效的方法来对卷积层施加过滤器正交性。我们的正交卷积方法不需要额外的参数和计算负载，并在广泛的任务中稳定性、鲁棒性和泛化性方面优于内核正交性替代方案。

Nov, 2019

该研究提出了一种计算效率较高的正则化技术，通过鼓励同一层内的过滤器组之间的正交性来减少卷积过滤器之间的冗余性，并通过将其应用于扩散模型和视觉转换器（ViTs）的自适应方法中，提高了下游任务的性能，同时在对抗训练期间实施组正交性时还改善了鲁棒性。

Jun, 2023

本文介绍了一种名为 OrthoReg 的深度学习正则化技术，通过局部强制特征正交性，有效减少负相关特征权重之间的干扰，提高了特征去相关化的效果，降低了过拟合现象，可用于多种卷积神经网络数据集。

Nov, 2016

本文提出了一种使用牛顿迭代法的正交化方法 (ONI)，它可以通过进行迭代来控制权重矩阵的正交性，同时保持模型的表征能力，从而有效地提高图像分类网络和生成对抗网络 (GANs) 的性能。

Apr, 2020

研究表明，使用正交性标准化的变种正则化方法和基于 “准同构假设” 的反向错误调节机制可以在不使用任何快捷方式 / 身份映射的情况下，训练一种特定结构（重复三模块的 Conv-BNReLU）的极深卷积神经网络（CNN），实验结果表明，这种方法可以在 CIFAR-10 和 ImageNet 数据集上显着提高 44 层和 110 层的网络的性能，并且可以成功地通过新的设计原则和残差结构来设计网络结构以获得相似的 ImageNet 数据集上的表现。

Mar, 2017

本文探讨了针对深度神经网络和循环神经网络中的梯度消失或梯度爆炸问题，使用正交矩阵作为约束条件以保持梯度范数，并且提出了一种使用矩阵分解和参数化策略的方法以控制反向传播期间所导致的扩张性。通过分析，本文发现硬正交矩阵约束会对收敛速度和模型性能产生负面影响。

Jan, 2017

介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

Mar, 2021

本研究介绍了一种新的 backpropagation 算法，并使用 Riemannian 几何和优化技术在矩阵流形上实现了层与层之间约束权重的深度神经网络，特别是引入了 Stiefel 层，对于无监督的特征学习至细粒度图像分类有很多好处。

Nov, 2016

本文提出并评估了一种约束为正交的卷积层的参数化方法，其中应用了 Cayley 变换，该方法保留正交性，并在保证对抗鲁棒性和认证防御方面优于以前的方法。

Apr, 2021