本文提出了正交深度神经网络 (OrthDNNs) 的算法，将其与最近研究的光谱正则化深度学习方法联系起来，证明了神经网络在实践中具有局部等距性和不变性，并提出基于等奇异值的正交权重矩阵的方法和 Bounded Batch Normalization 来提高深度神经网络的泛化性能。

May, 2019

本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

Apr, 2020

本文提出了一种投影基准重量归一化 (PBWN) 的方法，通过将每个神经元的输入权重限制在单位范数上，以达到优化 DNN 性能的目的。实验表明，该方法在许多不同的 DNN 体系结构上均能提高性能，并且能够在 permutation invariant MNIST 数据集上实现半监督学习方面的超越表现。

Oct, 2017

通过奇异值分解神经网络权重，构建权重图，探索并非在输入数据下，批规范化引起神经元之间的显著连接和自发稀疏现象，从而提出了奇异值表示作为一种新的方法来表示神经网络的内部状态。

Feb, 2023

本文提出了一种快速随机奇异值阈值方法，称为快速随机 SVT，可以用于解决与 NNM 或 WNNM 相关的问题，在各种计算机视觉问题中获得了高效和精确的结果。

Sep, 2015

该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现，每个多维权重的 SVD 表示中存在一个正交基，在训练过程中保持稳定。基于此，我们介绍了一种新的训练方法，即利用神经网络的内在正交性的 Orthogonality-Informed Adaptive Low-Rank (OIALR) 训练。OIALR 可以无缝地集成到现有的训练工作流中，且准确度损失最小，通过在各种数据集和经典网络架构上进行基准测试也得以证明。通过适当的超参数调整，OIALR 可以超越传统的训练设置，包括最先进的模型。

Jan, 2024

本文研究了归一化二阶卷积特征的几种方式，其中以矩阵平方根归一化和元素平方根加 L2 归一化的方案为最佳，改进后在细粒度识别数据集上性能提高了 2-3%。研究还发现，在边界情况得到合理处理后，用于计算梯度的数值方法与网络的最终准确性关系较小。本文最终提出一种快速实现效果相当的固定迭代次数方法，可用于 GPU 上进行实现。

Jul, 2017

本文研究探讨卷积神经网络在人工智能领域的应用，并且探讨该类网络存在的问题和局限性，提出使用奇异值分解方法可以分析卷积神经网络中涉及到的非人类因素，从而对其产生作用的原因展开研究。同时提出了一种新的特征分配方法，建立了卷积神经网络的理论框架。

Dec, 2020

本文提出一种基于张量的奇异值分解的方法，用于理解卷积层的动态过程和发现卷积特征之间的相关性，以及在图像分类网络中应用超图模型进行可解释性研究。

Aug, 2022

通过对标准 2D 多通道卷积层所关联的线性变换的奇异值的表征，我们能够有效计算它们。此表征还引导我们提出了将卷积层投影到算子范数球上的算法。我们证明了这是一种有效的正则化方法；例如，它将使用 CIFAR-10 数据集和批标准化的深度残差网络的测试误差从 6.2% 提高到 5.3%。

May, 2018