本文研究了归一化二阶卷积特征的几种方式，其中以矩阵平方根归一化和元素平方根加 L2 归一化的方案为最佳，改进后在细粒度识别数据集上性能提高了 2-3%。研究还发现，在边界情况得到合理处理后，用于计算梯度的数值方法与网络的最终准确性关系较小。本文最终提出一种快速实现效果相当的固定迭代次数方法，可用于 GPU 上进行实现。

Jul, 2017

研究了基于全局协方差池化的卷积神经网络，使用奇异值分解方法计算矩阵平方根，发现通过牛顿 - Schulz 迭代而非精确计算的矩阵平方根能更好地提高分类性能，并提出了新的基于 Padé 近似的反向传播方法和混合训练协议，该方法在大规模和细粒度数据集上实现了最先进的性能。

May, 2021

该研究提出了一种适用于高维度、小样本场景的全局矩阵幂归一化协方差池化， 并引入了一个全局高斯嵌入网络来融合一阶统计信息。此方法在大规模对象分类、场景分类、细粒度视觉识别和纹理分类方面的实验表明，其优于现有的方法，并取得了最佳效果。

Apr, 2019

通过引入 Pre-SVD 层的正交性，用最近正交梯度（NOG）和最优学习速率（OLR）来改善 SVD 元层对神经网络协方差的条件约束，以提高视觉识别中协方差条件和泛化能力。

Jul, 2022

该论文提出了一种基于高级特征的协方差汇集方法，即 Matrix Power Normalized Covariance (MPN-COV)，并在 ImageNet 上的测试中表现出了显著的成果，特别是在 AlexNet，VGG-M 和 VGG-16 的情况下，MPN-COV 方法可以使性能提高超过 3％，并且与 ResNet-152 相媲美。

Mar, 2017

本论文研究了深度神经网络的多领域学习问题，并提出了一种自适应层和称作协方差规范化（CovNorm）的简单方法来减少其参数。实验证明，在目标数据集顺序或同时可用的情况下，CovNorm 可以与全面调整的网络具有相当的性能。

Jun, 2019

本文提出了两种用于计算矩阵可区分平方根的更加高效的变体，分别采用矩阵泰勒多项式和矩阵帕德逼近法进行前向传播，并使用连续时钟李亚普诺夫方程的渐进求解来计算后向梯度，表明两种方法在各种任务上比现有方法速度更快，且能够实现更好的性能，例如 decorrelated batch normalization 和 second-order vision transformer。

Jan, 2022

本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

Apr, 2020

介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

Mar, 2021

本文针对在深度卷积网络较早的层次有效引入二阶表示进行非线性建模的问题，提出了一种新的网络模型，并利用全局二阶池化 (GSoP) 对低到高层次进行二阶表示引入，使图像信息得到全面利用，实验结果表明，在 ImageNet-1K 数据集上，该网络模型优于同类网络，具有最先进的结果。

Nov, 2018