通过对卷积内核使用双倍块 Toeplitz 矩阵表示法而不是常见的内核正交化方法，我们开发了一种有效的方法来对卷积层施加过滤器正交性。我们的正交卷积方法不需要额外的参数和计算负载，并在广泛的任务中稳定性、鲁棒性和泛化性方面优于内核正交性替代方案。

Nov, 2019

通过使用 Skew Orthogonal Convolution（SOC）方法（一种梯度保持（GNP）卷积的优化算法），这篇论文在 CIFAR-10 数据集上获得了高准确度，同时提高了标准和认证的强健性。

May, 2021

本文提出了一种生成 Lipschitz 网络的新技术，可以应用于任何线性网络层， 并且保证 Lipschitz 常数不超过 1，结果表明 Almost-orthogonal Lipschitz (AOL) 层在图像分类方面的表现与现有方法相当，但更易于实现和更广泛适用。

Aug, 2022

通过 Block Convolution 正交参数化的方法，我们可以训练具有可证明的 Lipschitz 界限的大型卷积神经网络，其表现与现有方法相当，实用性强。

Nov, 2019

介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

Mar, 2021

该研究提出了一种计算效率较高的正则化技术，通过鼓励同一层内的过滤器组之间的正交性来减少卷积过滤器之间的冗余性，并通过将其应用于扩散模型和视觉转换器（ViTs）的自适应方法中，提高了下游任务的性能，同时在对抗训练期间实施组正交性时还改善了鲁棒性。

Jun, 2023

本文旨在探讨如何在训练深度卷积神经网络时实现更有效和易于使用的（近）正交性权重。我们利用各种先进的分析工具，如相互相干性和受限等距性质，开发新型正交性正则化方法，可方便地应用于训练几乎任何卷积神经网络。通过在几个流行的计算机视觉数据集上使用 ResNet、WideResNet 和 ResNeXt 等最先进模型的基准测试，我们观察到使用这些提议的正则化方法后，模型的准确率和收敛速度都有更稳定的提高。我们已经将我们的代码和预训练模型公开。

Oct, 2018

该研究提出一种基于层次正交训练和利普希茨限制的深度神经网络训练方法，结合半监督学习来提高模型的认证鲁棒性，并证明其在多个数据集和网络结构上表现出卓越的性能。

Oct, 2022

提出了一种用于改善卷积神经网络中的正交性的新方法，解决了传统正交性方法中对于模型容量提升的难题。通过我们的正交性偏差度量和我们的正交性放松理论，我们的工具包实现了最先进的性能和更加鲁棒的模型特征。

Jun, 2023

通过放宽网络最后一层的正交化约束，证明了 1-Lipschitz CNN 的鲁棒性，此外还引入了新的梯度规范化激活函数和证明规则，有效提高了 CIFAR 数据集上的准确率。

Aug, 2021