通过引入迭代矩阵平方根归一化方法，本文提出一种针对全局协方差池化网络的快速端到端训练方案，相比于依赖于 GPU 有限支持的 EIG 或 SVD 的方法更加高效，并且可以在更少的 epoch 内获得更好的性能。

Dec, 2017

本文研究了归一化二阶卷积特征的几种方式，其中以矩阵平方根归一化和元素平方根加 L2 归一化的方案为最佳，改进后在细粒度识别数据集上性能提高了 2-3%。研究还发现，在边界情况得到合理处理后，用于计算梯度的数值方法与网络的最终准确性关系较小。本文最终提出一种快速实现效果相当的固定迭代次数方法，可用于 GPU 上进行实现。

Jul, 2017

本文介绍了随机 SVD 方法的推广版，使用多元高斯向量代替标准高斯向量进行矩阵 - 向量乘积，以允许将先前的知识加入算法中，进而探索基于高斯过程函数的 Hilbert-Schmidt（HS）算子的随机 SVD 的连续模拟。文中提出了一种新的基于加权 Jacobi 多项式的协方差核，从而使随机生成的函数具有良好的平滑性，再通过数值实验证明其适用性。

May, 2021

通过对 Graph Convolutional Networks 在推荐系统中的应用进行研究，提出了一种名为 SVD-GCN 的简化 GCN 学习的范例，并通过该方法仅利用 K 个最大奇异向量来提高推荐系统的性能，大幅度缓解了平滑问题。实验证明，该方法不仅显著优于现有技术，而且相对于 LightGCN 和 MF 分别实现了 100x 和 10x 的加速效果。

Aug, 2022

通过引入 Pre-SVD 层的正交性，用最近正交梯度（NOG）和最优学习速率（OLR）来改善 SVD 元层对神经网络协方差的条件约束，以提高视觉识别中协方差条件和泛化能力。

Jul, 2022

本研究尝试从优化的角度研究了全局协方差池化在深度卷积神经网络上的作用机理，发现全局协方差池化可以使优化损失更加平滑，梯度更具预测性，从而提高网络的稳定性、鲁棒性和泛化能力。相关实验证实了以上结论以及全局协方差池化对快速训练、图像失真和扰动下的鲁棒性、不同任务的泛化等方面的优点。

Mar, 2020

本文提出了两种用于计算矩阵可区分平方根的更加高效的变体，分别采用矩阵泰勒多项式和矩阵帕德逼近法进行前向传播，并使用连续时钟李亚普诺夫方程的渐进求解来计算后向梯度，表明两种方法在各种任务上比现有方法速度更快，且能够实现更好的性能，例如 decorrelated batch normalization 和 second-order vision transformer。

Jan, 2022

该研究提出了一种适用于高维度、小样本场景的全局矩阵幂归一化协方差池化， 并引入了一个全局高斯嵌入网络来融合一阶统计信息。此方法在大规模对象分类、场景分类、细粒度视觉识别和纹理分类方面的实验表明，其优于现有的方法，并取得了最佳效果。

Apr, 2019

本研究提出了一种高效的算法，叫做球形归一化奇异值分解 (SVD)，用于稳健的奇异值分解近似，对异常值不敏感、可扩展的计算，提供准确的奇异向量估计。该算法通过仅使用标准降秩奇异值分解算法对适当缩放的数据进行两次计算，实现了显著的计算速度，并在计算时间上明显优于竞争算法。为评估估计奇异向量及其子空间的稳健性，我们引入了矩阵型输入的新的破坏点概念，包括按行、按列和按块的破坏点。理论和实证分析表明，与标准 SVD 及其修改相比，我们的算法具有更高的破坏点。我们在高维微阵列数据集的鲁棒低秩逼近和鲁棒主成分分析等应用中，经验地验证了我们方法的有效性。总体而言，本研究提供了一种高效且稳健的 SVD 近似解决方案，克服了现有算法在异常值存在时的局限性。

Feb, 2024

本文提出一种利用 SVD 和 Taylor expansion 的方法，用于求解 close eigenvalues 时计算 eigenvectors 的梯度，从而提高 integrating eigendecomposition into deep networks 的准确性。

Apr, 2021