本文考虑一种流式数据模型，通过计算奇异值分解和草图矩阵，获得与原始数据矩阵非常接近的奇异值和奇异向量。同时，将其应用于流图算法来近似计算具有低秩的计算机网络图 Laplacian 的特征值和特征向量。

Nov, 2012

该论文介绍了一种新颖的快速机器学习方法，利用了两种技术：正交基向量嵌入（VEOB）和谱变换（ST）。该方法通过将原始数据编码转换为在正交基向量上投影的向量嵌入，采用奇异值分解（SVD）技术计算向量基和投影坐标，从而在嵌入空间中实现了增强的距离测量，并通过保留与最大奇异值相关的投影向量来实现数据压缩。同时，它还利用离散余弦变换（DCT）将向量数据序列转换到谱空间，并选择最重要的分量，以简化对于长向量序列的处理。该论文提供了使用这种方法在 Julia 语言中实现的词嵌入、文本块嵌入和图像嵌入的示例，并探讨了使用该方法进行无监督学习和监督学习的策略，以及如何处理大数据量。

Oct, 2023

我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

Nov, 2022

介绍了如何使用 Nyström 方法来寻找一般矩阵的奇异值分解和方阵的特征值分解，从而得到压缩版本的矩阵，并在选择 A_M 方面提出了一个好的初始采样算法，适用于一般矩阵和核矩阵。

May, 2013

本文利用张量奇异值分解求得张量的秩概念 —— 张量管秩，使用具有优化性质的张量核范数最小化的凸优化问题，完成了从有限采样中完成高维数据恢复的任务，并证明了此方法的有效性。

Feb, 2015

通过研究随机块模型中普通奇异值分解算法（vanilla-SVD）的能力，发现在对称设置下，vanilla-SVD 算法能正确恢复所有聚类，回答了 Van Vu 在对称设置下所提出的一个开放问题。

Sep, 2023

本文研究了在音乐推荐中广泛使用的截断奇异值分解的一个奇特效应，提出了一个度量此效应强度的度量方法，并证明了它与不同内部流行度的物品社区相关，最后展示了如何在添加数据的情况下估算音乐嵌入的前 k 个相似物品如何随时间变化。

Jun, 2023

本文介绍了一种利用随机矩阵方法扩展张量 SVD 来压缩和分析数据集的方法，相对于 t-SVD，具有更高的计算效率，并提供了该算法的详细说明和数值结果。

Sep, 2016

本研究提出了一种高效的算法，叫做球形归一化奇异值分解 (SVD)，用于稳健的奇异值分解近似，对异常值不敏感、可扩展的计算，提供准确的奇异向量估计。该算法通过仅使用标准降秩奇异值分解算法对适当缩放的数据进行两次计算，实现了显著的计算速度，并在计算时间上明显优于竞争算法。为评估估计奇异向量及其子空间的稳健性，我们引入了矩阵型输入的新的破坏点概念，包括按行、按列和按块的破坏点。理论和实证分析表明，与标准 SVD 及其修改相比，我们的算法具有更高的破坏点。我们在高维微阵列数据集的鲁棒低秩逼近和鲁棒主成分分析等应用中，经验地验证了我们方法的有效性。总体而言，本研究提供了一种高效且稳健的 SVD 近似解决方案，克服了现有算法在异常值存在时的局限性。

Feb, 2024

提出了一种基于 Fisher 信息的 SVD 压缩方法（FWSVD），它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题，该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。

Jun, 2022