Mar, 2016

在 GPU 上并行化大规模矩阵分解以提高速度和降低成本

PDF
TL;DR本论文介绍了 cuMF， 一种基于 CUDA 的矩阵分解库，利用 GPU 技术，采用内存优化的交替最小二乘法（ALS）方法解决非常大规模的 MF 问题，并利用各种技术在单个或多个 GPU 上最大化其性能。与分布式 CPU 解决方案相比，cuMF 仅使用具有 4 个 Nvidia GPU 卡的单个机器就能够快 6-10 倍，成本效益高达 33-100 倍。
matrix factorizationgpu technologycumfcuda-basedals method
发现论文，激发创造
  • 高性能非负矩阵分解并行算法

    提出了一个分布式内存并行算法来解决大型数据集上的非负矩阵分解问题，实现了对稠密和稀疏矩阵的高效处理，并且在交替迭代中提供了多个算法选项，与基线实现相比表现出了显著的性能提升。

    Sep, 2015

  • 基于三个案例研究的 Spark 和 C+MPI 在规模化矩阵分解上的科学数据分析比较

    探讨在 HPC 平台上使用 Apache Spark 进行线性代数与传统的 C 和 MPI 实现之间的权衡。我们考察了三种常用的矩阵分解方法：NMF、PCA 和 CX，并将它们应用于 TB 级的问题，包括粒子物理学、气候模拟和生物成像。我们在高达 1600 个 Cray XC40 节点上进行了扩展性实验，描述了减速的来源，并提供调整指南以获得高性能。

    Jul, 2016

  • DFacTo: 分布式分解张量

    本文提出了一种名叫 DFacTo 的优化算法，利用 Khatri-Rao 乘积的特性，从而显著加速广泛应用于张量分解中的 ALS 和 GD 两个算法，且只需要进行两个稀疏矩阵向量乘积，易于并行化，且相较于其他算法平均快 4 至 10 倍，特别是在大规模数据集上。

    Jun, 2014

  • 通过动态修剪加速矩阵分解以实现快速推荐

    提出了算法方法加速矩阵分解，通过观察矩阵特征的细粒度结构稀疏性，重新排列特征矩阵并修剪不显著的潜在因素，实现了乘法和更新过程中的动态剪枝操作，加速了推荐系统中矩阵分解的训练过程。

    Mar, 2024

  • 非负矩阵分解的加速乘法更新和分层 ALS 算法

    本文提出了一种加速处理非负矩阵分解问题的技术，通过在每个迭代步骤中精确分析计算成本，来保持算法的收敛性。这种加速技术可以应用于其他算法，并且已在图像和文本数据集上进行了实证研究。

    Jul, 2011

  • 使用线性规划分解非负矩阵

    本论文提出了一种新的基于线性规划的计算非负矩阵分解的方法，其中关键思想是使用数据中最显著的特征来表示其他特征，以实现低秩近似且扩展到更一般的噪声模型并具有高效可扩展性的算法。

    Jun, 2012

  • 分布式贝叶斯概率矩阵分解

    本篇论文提出了一种分布式高性能并行的 Bayesian Probabilistic Matrix Factorization （BPMF）算法实现方案，并使用了在单节点上的高效负载均衡使用工作窃取和在分布式版本中使用异步通信的方法，超越了现有技术水平。

    May, 2017

  • 通过交替方向乘子法的受限张量分解并行算法

    本篇研究提出了一种基于 ADMoM 的约束张量分解框架，构建分布式算法，有效节省计算量，可以更容易地纳入其他类型的约束条件下优化计算，其中以非负性为基线限制，实践结果非常鼓舞人心，说明 ADMoM 非负张量分解 (NTF) 作为一种替代非常有潜力。

    Sep, 2014

  • 提升推理速度：蝶式稀疏矩阵乘法的高效 GPU 内存管理

    通过一项全面的基准测试，本研究评估了目前 GPU 上用于蝶形稀疏矩阵乘法算法的现状，旨在为用户提供一个简单的工具来选择最佳算法实现。结果显示现有实现在内存重写操作上耗费了总运行时间的高达 50％。同时，引入一种新的 CUDA 核心可以优化这些内存操作，最多可以使计算速度提高 1.4 倍，降低能耗 0.85 倍。我们还展示了新核心的广泛意义，以其加速神经网络的推断。

    May, 2024

  • GPU 上的稀疏矩阵乘法设计原则

    本文提出了两种新算法以在 GPU 上实现稀疏矩阵与密集矩阵相乘，主要关注延迟隐藏、负载平衡和内存访问，实验分析表明该算法在处理实际数据集时获得了 4.1 倍的速度提升和 31.7％的平均速度提升。

    Mar, 2018