本文探讨了针对深度神经网络和循环神经网络中的梯度消失或梯度爆炸问题，使用正交矩阵作为约束条件以保持梯度范数，并且提出了一种使用矩阵分解和参数化策略的方法以控制反向传播期间所导致的扩张性。通过分析，本文发现硬正交矩阵约束会对收敛速度和模型性能产生负面影响。

Jan, 2017

本文提出了一种使用牛顿迭代法的正交化方法 (ONI)，它可以通过进行迭代来控制权重矩阵的正交性，同时保持模型的表征能力，从而有效地提高图像分类网络和生成对抗网络 (GANs) 的性能。

Apr, 2020

通过对卷积内核使用双倍块 Toeplitz 矩阵表示法而不是常见的内核正交化方法，我们开发了一种有效的方法来对卷积层施加过滤器正交性。我们的正交卷积方法不需要额外的参数和计算负载，并在广泛的任务中稳定性、鲁棒性和泛化性方面优于内核正交性替代方案。

Nov, 2019

通过对正交性进行收敛性分析，揭示了正交性对训练深度神经网络的收敛速度的影响，并通过实验证实了理论分析的有效性。

Nov, 2023

本文提出了一种将全局结构化计算形式化整合到深度计算架构中的方法，其核心是开发了一种新的基于矩阵变化的 backpropagation 理论和实践，该方法广泛适用于机器学习或计算感知问题，我们在 BSDS 和 MSCOCO 基准测试中执行视觉分割实验，结果表明端到端训练的基于第二阶池化和归一化切割层的深度网络，使用矩阵反向传播优于没有利用全局层的对应网络。

Sep, 2015

本文提出了一种名为 “反馈梯度下降（FGD）” 的新方法，该方法基于在 Stiefel 流形的切空间上连续动力系统的 Euler 离散化，同时高效性和稳定性皆优于现有最先进方法，在大量图像分类实验中表现卓越。

May, 2022

本文提出了两种初始化方案，允许网络自然演化其权重形成正交矩阵，并提供理论分析，预先训练正交化始终收敛，并通过实验证实，所提出的方案优于随机初始化的递归和前向网络。

Oct, 2022

本文提出了一种在前馈神经网络中构造矩阵正交化的正交矩形矩阵方法，该方法被称为在多个相关斯蒂费尔流形的优化中进行正交矩阵的构造，并提出了一种新颖的正交权重归一化方法来解决这一问题，并通过实验表明，将正交线性模块用作标准线性模块的替代品可以大大提高最先进网络（Inception 和 Residual Networks）的性能，特别是在 CIFAR 和 ImageNet 数据集上。

Sep, 2017

本文提出并评估了一种约束为正交的卷积层的参数化方法，其中应用了 Cayley 变换，该方法保留正交性，并在保证对抗鲁棒性和认证防御方面优于以前的方法。

Apr, 2021

本文旨在探讨如何在训练深度卷积神经网络时实现更有效和易于使用的（近）正交性权重。我们利用各种先进的分析工具，如相互相干性和受限等距性质，开发新型正交性正则化方法，可方便地应用于训练几乎任何卷积神经网络。通过在几个流行的计算机视觉数据集上使用 ResNet、WideResNet 和 ResNeXt 等最先进模型的基准测试，我们观察到使用这些提议的正则化方法后，模型的准确率和收敛速度都有更稳定的提高。我们已经将我们的代码和预训练模型公开。

Oct, 2018