部分奇异值分解计算的软件包
本研究提出了一种两阶段预条件迭代方法来计算极端奇异值三元组,并开发了一种高性能软件 PRIMME SVDS 来实现该方法,填补了计算部分奇异值分解的生产级软件的空白,实验表明该方法比其他软件具有更好的性能和良好的并行性。
Jul, 2016
RSVDPACK 是一个 C 库,它提供了计算矩阵低秩逼近的标准函数,如奇异值分解(SVD)以及保持结构性质的插值分解(ID)和 CUR 分解,使用随机采样的高效计算算法进行计算,具有一定的稀疏性和非负性,并且支持多核 CPU 和 GPU 架构。
Feb, 2015
本文介绍了针对 MATLAB 的基于随机化方法的低秩逼近算法,通过多个测试发现这些算法在准确性、速度和内存使用、易用性、可并行性和可靠性等方面都优于或至少与经典方法相当,但对于估计谱范数和计算最小奇异值及对应的奇异向量依然有待提高。
Dec, 2014
本文提出了一种 warm start 的 BLWS 技术,通过使用块 Lanczos 方法来计算偏 SVD,以解决计算代价高的问题,并在 Robust PCA 和 Matrix Completion 问题中得到了加速。
Dec, 2010
本研究提出了一种高效的算法,叫做球形归一化奇异值分解 (SVD),用于稳健的奇异值分解近似,对异常值不敏感、可扩展的计算,提供准确的奇异向量估计。该算法通过仅使用标准降秩奇异值分解算法对适当缩放的数据进行两次计算,实现了显著的计算速度,并在计算时间上明显优于竞争算法。为评估估计奇异向量及其子空间的稳健性,我们引入了矩阵型输入的新的破坏点概念,包括按行、按列和按块的破坏点。理论和实证分析表明,与标准 SVD 及其修改相比,我们的算法具有更高的破坏点。我们在高维微阵列数据集的鲁棒低秩逼近和鲁棒主成分分析等应用中,经验地验证了我们方法的有效性。总体而言,本研究提供了一种高效且稳健的 SVD 近似解决方案,克服了现有算法在异常值存在时的局限性。
Feb, 2024
本文介绍了随机 SVD 方法的推广版,使用多元高斯向量代替标准高斯向量进行矩阵 - 向量乘积,以允许将先前的知识加入算法中,进而探索基于高斯过程函数的 Hilbert-Schmidt(HS)算子的随机 SVD 的连续模拟。文中提出了一种新的基于加权 Jacobi 多项式的协方差核,从而使随机生成的函数具有良好的平滑性,再通过数值实验证明其适用性。
May, 2021
本文提出了一种新的、简单的 LazySVD 框架,用于改善现有的 k-SVD 算法,该框架具有更快的无缝收敛方法,能够优于现有的算法,并且是第一个优于随机方法的算法,同时还能够在某些参数范围内优于早期的基于交替最小化的方法。
Jul, 2016
我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法,该方法考虑了神经网络参数的不平等重要性,并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明,相较于传统的 SVD 方法,在压缩 Transformer 的语言模型时,我们的方法可以获得更好的效果。
Nov, 2022
我们提出了一种新的混合算法,可以在标准的协同过滤技术中加入用户和物品方面的信息。该算法利用奇异值分解的广义公式,增加了解的灵活性,并允许在其潜在空间上施加预期的结构。我们在各种数据集上评估了该方法,并展示了其在类似的混合模型中的优越性。
Feb, 2018