Jan, 2024

利用正交性训练低秩神经网络

PDF
TL;DR该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现，每个多维权重的 SVD 表示中存在一个正交基，在训练过程中保持稳定。基于此，我们介绍了一种新的训练方法，即利用神经网络的内在正交性的 Orthogonality-Informed Adaptive Low-Rank (OIALR) 训练。OIALR 可以无缝地集成到现有的训练工作流中，且准确度损失最小，通过在各种数据集和经典网络架构上进行基准测试也得以证明。通过适当的超参数调整，OIALR 可以超越传统的训练设置，包括最先进的模型。
neural networkssingular value decompositionlearning dynamicsorthogonality-informed adaptive low-rank (oialr)training method
发现论文，激发创造
  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

    Apr, 2020

  • 训练 DNNs 中的可控正交化

    本文提出了一种使用牛顿迭代法的正交化方法 (ONI)，它可以通过进行迭代来控制权重矩阵的正交性，同时保持模型的表征能力，从而有效地提高图像分类网络和生成对抗网络 (GANs) 的性能。

    Apr, 2020

  • 通过近似正交约束的鲁棒低秩训练

    介绍了一种在保证模型精度的情况下，同时降低深度学习中推理和训练成本，并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解（low-rank matrix factorizations）容易导致模型鲁棒性的问题，提出了一种基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束，保证了低秩表示与近似完整的模型之间精度。通过实验证明降低深度学习模型中推理和训练成本的同时，提高了模型的鲁棒性。

    Jun, 2023

  • 通过正交性提高 SVD 元层的协方差条件数

    通过引入 Pre-SVD 层的正交性，用最近正交梯度（NOG）和最优学习速率（OLR）来改善 SVD 元层对神经网络协方差的条件约束，以提高视觉识别中协方差条件和泛化能力。

    Jul, 2022

  • 正交深度神经网络

    本文提出了正交深度神经网络 (OrthDNNs) 的算法，将其与最近研究的光谱正则化深度学习方法联系起来，证明了神经网络在实践中具有局部等距性和不变性，并提出基于等奇异值的正交权重矩阵的方法和 Bounded Batch Normalization 来提高深度神经网络的泛化性能。

    May, 2019

  • 通过嵌套低秩逼近的神经网络进行运算员 SVD

    基于低秩逼近特性的新型优化框架，通过学习前 L 个奇异值和奇异函数的正确顺序来提升所学函数的正交性，在计算物理和机器学习领域展示了提出的优化框架的有效性。

    Feb, 2024

  • 通过转换低秩参数化可以为张量神经网络带来鲁棒泛化能力的提升

    探究 Tensor Singular Value Decomposition (t-SVD) 理论上对于 Neural Networks with t-product layers (t-NNs) 的影响，研究发现使用 exact transformed low-rank parameterization 的 t-NNs 能够提高其对于 adversarial generalization 的性能，并且即使 t-NNs 很少有完全 transformed low-rank weights，也可以通过 gradient flow (GF) 的 adversarial training 得到类似的效果，表明 transformed low-rank parameterization 在一定条件下可以提高 t-NNs 的鲁棒泛化性能。

    Mar, 2023

  • 低多线性秩张量逼近的随机矩阵方法

    本文研究了在计算阈值附近的一般尖峰张量模型中，对种植的低秩信号进行估计的全面理解。通过使用大型随机矩阵理论中的标准工具，我们表征了数据张量的展开的大维谱特性，并展示了影响信号主要方向可检测性的相关信噪比。这些结果允许准确预测截断多线性奇异值分解（MLSVD）在非平凡区域中的重构性能。这对于更高阶正交迭代（HOOI）方案具有重要作用，其收敛到最佳低多线性秩近似完全取决于初始化。我们给出了 HOOI 收敛的充分条件，并表明在大维极限中收敛之前的迭代次数趋于 1。

    Feb, 2024

  • 训练不变量和低秩现象：超越线性网络

    本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

    Jan, 2022

  • 深度旋转估计中 SVD 分析

    本研究探讨了将奇异值分解正交化应用于神经网络的三维旋转问题，并表明该方法在计算机视觉中取得了优于现有方法的效果。

    Jun, 2020