Feb, 2024

通过嵌套低秩逼近的神经网络进行运算员 SVD

PDF
TL;DR基于低秩逼近特性的新型优化框架，通过学习前 L 个奇异值和奇异函数的正确顺序来提升所学函数的正交性，在计算物理和机器学习领域展示了提出的优化框架的有效性。
eigenvalue decompositionlinear operatoreigenfunctionsoptimization frameworklow-rank approximation
发现论文，激发创造
  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

    Apr, 2020

  • 无特征分解训练基于深度网络的线性最小二乘问题

    本文通过一种去除特征值分解的方法，解决了深度学习框架中的一个困境：如何在网络中显式编码已知的几何概念，并演示了此方法在多种实际情况下的鲁棒性和性能优越性。

    Apr, 2020

  • 语言模型加权低秩估计的数值优化

    我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

    Nov, 2022

  • 随机张量列奇异值分解

    该研究针对层次张量表示，研究了随机矩阵分解方法在高阶张量中的推广，并提出分析了一种用于计算张量拓扑结构的随机算法。

    Oct, 2017

  • 利用正交性训练低秩神经网络

    该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现，每个多维权重的 SVD 表示中存在一个正交基，在训练过程中保持稳定。基于此，我们介绍了一种新的训练方法，即利用神经网络的内在正交性的 Orthogonality-Informed Adaptive Low-Rank (OIALR) 训练。OIALR 可以无缝地集成到现有的训练工作流中，且准确度损失最小，通过在各种数据集和经典网络架构上进行基准测试也得以证明。通过适当的超参数调整，OIALR 可以超越传统的训练设置，包括最先进的模型。

    Jan, 2024

  • 基于零特征值的损失函数训练深度神经网络

    通过无需特征分解的方法，在计算机视觉和深度学习领域中解决了特征分解操作难以优化的问题，并在关键点匹配和姿态估计等任务中取得了最新的成果。

    Mar, 2018

  • 鲁棒可微 SVD

    本文提出一种利用 SVD 和 Taylor expansion 的方法，用于求解 close eigenvalues 时计算 eigenvectors 的梯度，从而提高 integrating eigendecomposition into deep networks 的准确性。

    Apr, 2021

  • 健壮的 SVD 简化版：大规模数据分析的快速可靠算法

    本研究提出了一种高效的算法，叫做球形归一化奇异值分解 (SVD)，用于稳健的奇异值分解近似，对异常值不敏感、可扩展的计算，提供准确的奇异向量估计。该算法通过仅使用标准降秩奇异值分解算法对适当缩放的数据进行两次计算，实现了显著的计算速度，并在计算时间上明显优于竞争算法。为评估估计奇异向量及其子空间的稳健性，我们引入了矩阵型输入的新的破坏点概念，包括按行、按列和按块的破坏点。理论和实证分析表明，与标准 SVD 及其修改相比，我们的算法具有更高的破坏点。我们在高维微阵列数据集的鲁棒低秩逼近和鲁棒主成分分析等应用中，经验地验证了我们方法的有效性。总体而言，本研究提供了一种高效且稳健的 SVD 近似解决方案，克服了现有算法在异常值存在时的局限性。

    Feb, 2024

  • 通过高效 SVD 参数化稳定深度神经网络梯度

    本文提出了一种基于奇异值分解（SVD）的转移矩阵参数化方法，通过显式控制奇异值来解决在训练中发生的梯度消失和梯度爆炸问题，该方法在实验中表现出了更快的收敛速度和更好的泛化性能，特别是在捕捉长程依赖关系方面的表现较好。

    Mar, 2018

  • 随机奇异值分解的一般化

    本文介绍了随机 SVD 方法的推广版，使用多元高斯向量代替标准高斯向量进行矩阵 - 向量乘积，以允许将先前的知识加入算法中，进而探索基于高斯过程函数的 Hilbert-Schmidt（HS）算子的随机 SVD 的连续模拟。文中提出了一种新的基于加权 Jacobi 多项式的协方差核，从而使随机生成的函数具有良好的平滑性，再通过数值实验证明其适用性。

    May, 2021