Feb, 2024

健壮的 SVD 简化版：大规模数据分析的快速可靠算法

PDF
TL;DR本研究提出了一种高效的算法，叫做球形归一化奇异值分解 (SVD)，用于稳健的奇异值分解近似，对异常值不敏感、可扩展的计算，提供准确的奇异向量估计。该算法通过仅使用标准降秩奇异值分解算法对适当缩放的数据进行两次计算，实现了显著的计算速度，并在计算时间上明显优于竞争算法。为评估估计奇异向量及其子空间的稳健性，我们引入了矩阵型输入的新的破坏点概念，包括按行、按列和按块的破坏点。理论和实证分析表明，与标准 SVD 及其修改相比，我们的算法具有更高的破坏点。我们在高维微阵列数据集的鲁棒低秩逼近和鲁棒主成分分析等应用中，经验地验证了我们方法的有效性。总体而言，本研究提供了一种高效且稳健的 SVD 近似解决方案，克服了现有算法在异常值存在时的局限性。
singular value decompositionrobust svd algorithmoutliersapproximations of singular vectorsbreakdown points
发现论文，激发创造
  • 随机奇异值分解的一般化

    本文介绍了随机 SVD 方法的推广版，使用多元高斯向量代替标准高斯向量进行矩阵 - 向量乘积，以允许将先前的知识加入算法中，进而探索基于高斯过程函数的 Hilbert-Schmidt（HS）算子的随机 SVD 的连续模拟。文中提出了一种新的基于加权 Jacobi 多项式的协方差核，从而使随机生成的函数具有良好的平滑性，再通过数值实验证明其适用性。

    May, 2021

  • 通过离群值追踪实现鲁棒的 PCA

    该文介绍了一种名为 Outlier Pursuit 的基于凸优化的算法，该算法使用矩阵分解来恢复未损坏矩阵的正确列空间，并确定损坏的点。此算法在基因组学和金融应用中具有重要意义。

    Oct, 2010

  • 深度旋转估计中 SVD 分析

    本研究探讨了将奇异值分解正交化应用于神经网络的三维旋转问题，并表明该方法在计算机视觉中取得了优于现有方法的效果。

    Jun, 2020

  • 使用随机算法实现主成分分析

    本文介绍了针对 MATLAB 的基于随机化方法的低秩逼近算法，通过多个测试发现这些算法在准确性、速度和内存使用、易用性、可并行性和可靠性等方面都优于或至少与经典方法相当，但对于估计谱范数和计算最小奇异值及对应的奇异向量依然有待提高。

    Dec, 2014

  • 从压缩测量中恢复谱特征的描绘 SVD

    本文考虑一种流式数据模型，通过计算奇异值分解和草图矩阵，获得与原始数据矩阵非常接近的奇异值和奇异向量。同时，将其应用于流图算法来近似计算具有低秩的计算机网络图 Laplacian 的特征值和特征向量。

    Nov, 2012

  • 随机张量列奇异值分解

    该研究针对层次张量表示，研究了随机矩阵分解方法在高阶张量中的推广，并提出分析了一种用于计算张量拓扑结构的随机算法。

    Oct, 2017

  • 快速稳定的随机低秩矩阵逼近

    该论文对一种适用于一般矩阵的 Nystr {"o} m 方法进行了研究，并表明它的近似质量接近其他竞争方法，在数值稳定性方面表现良好。文中阐述了该方法的计算成本，并演示了可以在更新和降低矩阵时使用该方法。

    Sep, 2020

  • LazySVD: 更快的 SVD 分解但没有痛苦

    本文提出了一种新的、简单的 LazySVD 框架，用于改善现有的 k-SVD 算法，该框架具有更快的无缝收敛方法，能够优于现有的算法，并且是第一个优于随机方法的算法，同时还能够在某些参数范围内优于早期的基于交替最小化的方法。

    Jul, 2016

  • 语言模型加权低秩估计的数值优化

    我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

    Nov, 2022

  • 基于 t - 积的随机张量奇异值分解

    本文介绍了一种利用随机矩阵方法扩展张量 SVD 来压缩和分析数据集的方法，相对于 t-SVD，具有更高的计算效率，并提供了该算法的详细说明和数值结果。

    Sep, 2016