通过 Federated Learning 框架的机制，我们提出了一种叫做 FedPower 的算法以支持现代设备用户集体学习中的部分奇异值分解。该算法通过多个本地迭代和全局聚合的替换，以改进通信效率，并解决了用户数据隐私保护的问题。

Mar, 2021

本文通过理论分析证明，在光谱聚类时，使用小量的幂迭代即可通过近似特征向量来达到接近最优的 K-means 聚类结果。

Nov, 2013

通过引入块 Krylov 方法，本文改进了随机幂迭代法的时间复杂度，并给出了针对任何矩阵的主成分分析的近似最优解，同时探讨了简单技巧如何利用常见的矩阵属性显著提高运行时间。

Apr, 2015

本文提出一种利用 SVD 和 Taylor expansion 的方法，用于求解 close eigenvalues 时计算 eigenvectors 的梯度，从而提高 integrating eigendecomposition into deep networks 的准确性。

Apr, 2021

本文研究了一种名为 local distributed SGD 的分布式优化算法，其中数据在计算节点之间进行划分，计算节点进行本地更新，定期交换模型以进行平均化，并对其进行收敛分析，结果表明它可以大大降低通信成本并且适用性比当前理论推测的更为广泛，同时提出了一种自适应同步方案，验证理论和方案的实验结果在 AWS EC2 云和内部 GPU 集群上运行良好。

Oct, 2019

本文介绍了拉普拉斯矩阵的第二特征值和相关特征向量在无向图中的基本特征，并提出了第二特征向量的局部偏差模型，用于半监督方式下确定数据图的本地性质和优化问题，从而可以在近线性时间内计算最优解，并提供了在社交和信息网络中找到具有局部偏差的稀疏线性切割的详细实证评价。

Dec, 2009

该研究探讨了一种可并行化的方法，通过对大型图的频谱进行扩展，以加速奇异值分解求解器和谱聚类，并利用多项式逼近来实现此目的。

Jul, 2022

在统计分布设置中，研究了 PCA 的基本问题，介绍了一种在计算效率和估计误差方面都优于局部 ERM 解决方案的算法，通过进行简单的校正步骤来消除误差并提供一种估计器，还介绍了一种使用分布式矩阵向量乘法的迭代分布式算法，提供在广泛的参数范围内通信轮次的显着加速。

Feb, 2017

本文提出一种基于随机投影与有限阶多项式拓展计算奇异值分解嵌入的压缩光谱嵌入算法，其降维效果与计算复杂度不受特征向量数量影响。此算法对聚类和分类等下游推断任务的对比相似度度量具有较好效果。

Sep, 2015

我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

Nov, 2022