Mar, 2024

ALL0CORE 张量分解的稀疏计数数据

PDF
TL;DR该论文介绍了 ALL0CORE，一种新型的概率性非负张量分解方法，它是一种具有 L0 约束核的 Tucker 分解方法，通过在推断过程中在核张量上分配非零元素的位置和值来实现。ALL0CORE 既具有 CP 分解的计算可行性，又具有 Tucker 分解的潜在结构，通过一系列真实数据实验证明，ALL0CORE 通常只需使用核的极小比例即可以相应极小的成本达到与完整的 Tucker 分解相同的结果。
probabilistic non-negative tensor decompositionall0coretucker decompositionl0-constrained corecomputational tractability
发现论文，激发创造
  • 张量及其 Tucker 核 ：不变关系

    本文研究了张量的 Tucker 核，证明它具有原张量的多项式秩、模、边框秩和 Z - 特征值，这导致了很大的计算优势。

    Jan, 2016

  • 通过并行 ADMM 进行广义高阶张量分解

    针对高阶张量分解中的模型选择、大规模数据和计算效率等难点，本文提出了一种基于迹范数的正则化并可并行计算的分解方法，能够有效分解低秩结构的张量，并具有较强的鲁棒性。

    Jul, 2014

  • 使用 GPU Tensor Cores 的可扩展张量学习 CP 分解

    我们提出了 Exascale-Tensor，这是一种压缩基于张量分解的框架，用于支持超大规模张量分解，并通过实验证明了其可扩展性和有效性。

    Nov, 2023

  • Tensor Cores 上高效的量化稀疏矩阵操作

    提出了 Magicube，这是一个适用于低精度整数的高性能稀疏矩阵库，支持深度学习中的两个主要稀疏操作（SpMM 和 SDDMM）在 Tensor Cores 上的混合精度加速，实验结果显示，相对于供应商优化库，Magicube 平均提高了 1.44 倍（最高提高到 2.37 倍），而且即使精度相当，相对于同类技术，性能也提高了 1.43 倍。

    Sep, 2022

  • 加速稀疏深度神经网络

    介绍了 NVIDIA Ampere GPU 架构中的稀疏张量核心 (Sparse Tensor Cores)，它们利用了 2:4 的稀疏模式，通过两倍的数学吞吐量加速了稠密矩阵单元，并提出了一种简单的工作流程以训练满足 2:4 稀疏模式和保持准确性的网络，从而在稀疏张量核心上实现精确模型的高效部署。

    Apr, 2021

  • 张量环分解的基于采样的方法

    本文提出了一种基于采样的、使用杠杆分数样本交替最小二乘法的张量环分解计算方法，其中利用张量环张量的特殊结构，可高效地评估杠杆分数并获得复杂度次线性的方法，该方法在合成数据和真实数据实验中与现有方法相比具有显著加速效果，同时保持良好的准确性，提供了一个快速特征提取的示例。

    Oct, 2020

  • 多项式时间的带有平方和项的张量分解

    本文基于平方和方法给出了用于张量分解的新算法，结果改进了多个问题的运行时间，包括对超完备三元组分解和具有常数相对稀疏度的超完备字典的学习等问题的算法，同时首次在平滑分析模型中给出了超完备四元组分解的稳健性分析。而此分析的关键因素在于在由平方和松弛解导出的矩阵时刻中建立小的谱间隙，为了使此分析成为可能，本文将最大熵约束的谱同构加到平方和松弛约束上。

    Oct, 2016

  • 广义张量分解的 ADMM-MM 算法

    该论文提出了一种面向一般线性观测模型中低秩张量逆问题的新统一优化算法，该算法支持多种低秩张量分解模型和基本损失函数，并提出了基于交替方向乘子法向和主化极小化方法的优化算法。通过该算法可以解决广泛的应用，并且可以轻松扩展到任何已建立的张量分解模型。

    Dec, 2023

  • 个性化 Tucker 分解：在张量数据上建模共性和个性

    我们提出了个性化的 Tucker 分解 (perTucker)，来解决传统张量分解方法在捕捉不同数据集间异质性方面的局限性。通过将张量数据分解为共享的全局分量和个性化的局部分量，学习不同数据集间的独特和共同表示，我们证明了 perTucker 在异常检测、客户分类和聚类等方面的有效性。

    Sep, 2023

  • 具有最坏情况保证的张量分解更高效的抽样方法

    提出了基于采样的交替最小二乘法（ALS）方法，用于对张量进行低秩分解的 CP 和张量环分解，其成本不具有指数依赖性，并在特征提取实验中应用了这些方法，从而显著提高了先前的最新技术水平。

    Oct, 2021