NIPSJun, 2014

DFacTo: 分布式分解张量

PDF
TL;DR本文提出了一种名叫 DFacTo 的优化算法，利用 Khatri-Rao 乘积的特性，从而显著加速广泛应用于张量分解中的 ALS 和 GD 两个算法，且只需要进行两个稀疏矩阵向量乘积，易于并行化，且相较于其他算法平均快 4 至 10 倍，特别是在大规模数据集上。
发现论文，激发创造
  • 正交 ALS: 一种理论上有根据的张量分解算法，适用于实际应用

    本文提出了一种改进的 ALS 算法，可以在保持效率的同时，通过使用随机初始条件和保持一致性假设，证明性地恢复张量的真实因子。使用合成数据进行的实验表明，我们的方法在张量分解、张量填充和计算词嵌入等任务上明显优于传统 ALS 算法。

    Mar, 2017

  • 在 GPU 上并行化大规模矩阵分解以提高速度和降低成本

    本论文介绍了 cuMF， 一种基于 CUDA 的矩阵分解库，利用 GPU 技术，采用内存优化的交替最小二乘法（ALS）方法解决非常大规模的 MF 问题，并利用各种技术在单个或多个 GPU 上最大化其性能。与分布式 CPU 解决方案相比，cuMF 仅使用具有 4 个 Nvidia GPU 卡的单个机器就能够快 6-10 倍，成本效益高达 33-100 倍。

    Mar, 2016

  • 通过交替方向乘子法的受限张量分解并行算法

    本篇研究提出了一种基于 ADMoM 的约束张量分解框架，构建分布式算法，有效节省计算量，可以更容易地纳入其他类型的约束条件下优化计算，其中以非负性为基线限制，实践结果非常鼓舞人心，说明 ADMoM 非负张量分解 (NTF) 作为一种替代非常有潜力。

    Sep, 2014

  • 通过矩阵分解实现张量分解

    本研究提出了一种新的 CP 张量分解方法，使用了随机投影算法降低了问题难度并在模拟和真实数据集上得到了更好的表现。

    Jan, 2015

  • 分布式柔性非线性张量分解

    本文提出了一种分布式、灵活的非线性张量分解模型，通过可避免昂贵的计算以及提供高质量推理的上限，它能够克服传统张量分解模型中的限制，并展现出在 CTR 预测方面的巨大潜力。

    Apr, 2016

  • 矩阵分解的交替梯度下降收敛

    本文研究了交替梯度下降算法应用于非对称矩阵分解目标函数的收敛性分析，证明了在充分迭代步数内，随机初始化下可以收敛到较优解，此结果可以为更广泛的非凸低秩矩阵分解问题的收敛分析提供帮助，并在实验中得到了验证。

    May, 2023

  • 利用蝴蝶分解学习线性变换的快速算法

    通过将快速矩阵向量乘法的特性定义为稀疏矩阵的积，我们引入了一种分治方法的参数化形式，可以自动学习很多重要的变换的有效算法，并且在机器学习流水线中可以作为通用矩阵的轻量级替代，以学习高效且可压缩的变换。

    Mar, 2019

  • 一种用于非负因子矩阵补全的交替方向算法

    本文介绍了一种基于非负矩阵因式分解和补全问题的算法，可以通过同时利用非负性和低秩性来获得更好的结果，并通过基于交替方向增广 Lagrange 方法的算法来解决该问题。该算法优于现有算法，并可用于恢复不完整图像。

    Mar, 2011

  • 联合张量分解与异常压片抑制及其应用

    提出了一种交替优化框架来解决在异常杂质的情况下进行低秩张量分解的问题，可以很容易地加入正则化和约束，以利用潜在的加载因子的先验信息。

    Jul, 2015

  • 低秩张量补全的并行矩阵分解

    本研究提出了一个新的模型以及应用交替最小化算法和两种自适应秩调整策略同时对低秩张量进行低秩矩阵分解，结果表明，该算法可以在比其他方法更少的数据采样下恢复各种合成低秩张量，而且实际数据的测试结果也有类似优势。

    Dec, 2013