提出了一种用于改善卷积神经网络中的正交性的新方法，解决了传统正交性方法中对于模型容量提升的难题。通过我们的正交性偏差度量和我们的正交性放松理论，我们的工具包实现了最先进的性能和更加鲁棒的模型特征。

Jun, 2023

通过对卷积内核使用双倍块 Toeplitz 矩阵表示法而不是常见的内核正交化方法，我们开发了一种有效的方法来对卷积层施加过滤器正交性。我们的正交卷积方法不需要额外的参数和计算负载，并在广泛的任务中稳定性、鲁棒性和泛化性方面优于内核正交性替代方案。

Nov, 2019

本文旨在探讨如何在训练深度卷积神经网络时实现更有效和易于使用的（近）正交性权重。我们利用各种先进的分析工具，如相互相干性和受限等距性质，开发新型正交性正则化方法，可方便地应用于训练几乎任何卷积神经网络。通过在几个流行的计算机视觉数据集上使用 ResNet、WideResNet 和 ResNeXt 等最先进模型的基准测试，我们观察到使用这些提议的正则化方法后，模型的准确率和收敛速度都有更稳定的提高。我们已经将我们的代码和预训练模型公开。

Oct, 2018

研究表明，使用正交性标准化的变种正则化方法和基于 “准同构假设” 的反向错误调节机制可以在不使用任何快捷方式 / 身份映射的情况下，训练一种特定结构（重复三模块的 Conv-BNReLU）的极深卷积神经网络（CNN），实验结果表明，这种方法可以在 CIFAR-10 和 ImageNet 数据集上显着提高 44 层和 110 层的网络的性能，并且可以成功地通过新的设计原则和残差结构来设计网络结构以获得相似的 ImageNet 数据集上的表现。

Mar, 2017

本文提出了一种基于 Lie 群理论的指数映射参数化方法，将带有正交和酉约束的优化问题转化为欧几里德空间上的无约束问题，并在 RNN 中得到了应用，改进了正交约束优化问题的稳定性和收敛速度。

Jan, 2019

本文探讨了针对深度神经网络和循环神经网络中的梯度消失或梯度爆炸问题，使用正交矩阵作为约束条件以保持梯度范数，并且提出了一种使用矩阵分解和参数化策略的方法以控制反向传播期间所导致的扩张性。通过分析，本文发现硬正交矩阵约束会对收敛速度和模型性能产生负面影响。

Jan, 2017

本文提出并评估了一种约束为正交的卷积层的参数化方法，其中应用了 Cayley 变换，该方法保留正交性，并在保证对抗鲁棒性和认证防御方面优于以前的方法。

Apr, 2021

介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

Mar, 2021

通过纠正 ReLU 激活函数等非线性因素，我们的研究提出了纠正黑盒算法偏见的新方法，有效地保护敏感数据，并在线性模型中进行正交化、在卷积神经网络中进行元数据的归一化以及在预定义的嵌入中矫正不想要的属性。

May, 2024

在本研究中，我们引入了一类新的结构化矩阵，统一并推广了之前工作中的结构化类，以进一步改进参数和计算效率。我们还将这种参数化方法用于修改正交微调框架，在不同领域进行了实证验证，包括文本与图像扩散模型的自适应和语言建模中的下游任务微调。此外，我们还将我们的结构化构造用于正交卷积，并进行了 1-Lipschitz 神经网络的实验。

Jun, 2024