Nov, 2023

使用 GPU Tensor Cores 的可扩展张量学习 CP 分解

PDF
TL;DR我们提出了 Exascale-Tensor，这是一种压缩基于张量分解的框架，用于支持超大规模张量分解，并通过实验证明了其可扩展性和有效性。
cp decompositiontensor decompositionexascale-tensorcomputational efficiencyreal-world applications
发现论文，激发创造
  • 随机 CP 张量分解

    本文研究了 CANDECOMP/PARAFAC（CP）张量分解在多维数据降维中的应用，提出了一种基于随机算法的简单但强大的算法来计算大规模张量的近似 CP 分解，并通过多个实验结果证明了该算法的性能。

    Mar, 2017

  • 大规模科学数据的并行张量压缩

    本研究提出第一个能够在分布式内存上实现 Tucker 分解的并行算法，通过压缩科学模拟产生的大规模数据，尽量保持数据准确性。对使用该算法的真实数据集进行了压缩和精度分析，并提供了详细的性能结果，包括弱和强缩放实验中的并行性能。

    Oct, 2015

  • 广义规范多重张量分解

    该论文发展了一种广义的低秩张量分解（GCP），使其可以适用于二进制或计数数据，其中除了平方误差损失函数外，还可以使用逻辑损失或 Kullback-Leibler 散度损失函数，我们提供了基于统计动机的多种损失函数，为计算梯度和处理缺失数据提供了广义框架，从而可以使用标准优化方法来拟合模型，在社交网络，老鼠的神经活动和印度的月降雨数据等几个真实世界的例子中展示了 GCP 的灵活性。

    Aug, 2018

  • HEAT: Transformer 压缩的硬件高效自动张量分解

    本文提出了 HEAT 硬件感知张量分解框架，通过硬件感知的协同优化，实现了对参数冗余的降维和的自动调节，能够达到更好的能效比和精度。

    Nov, 2022

  • 使用张量幂法进行 CP 分解压缩卷积神经网络

    基于张量分解和张量幂法的卷积神经网络压缩方法及迭代微调优化策略实现了较高的压缩比和减少了内存和计算成本，相比现有工作在不丢失精度的情况下实现了显著的优化。

    Jan, 2017

  • Fine-tuned CP 分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014

  • 使用张量分解加速训练

    本文提出一种使用张量分解减少模型训练时间的方法，通过在原始架构下训练模型一小段时间后对其进行分解，在没有准确度损失或仅有 1.5％的准确度降低的同时训练速度提高了最多 2 倍，而且在 CPU 和 GPU 平台上均可使用。

    Sep, 2019

  • 大数据处理的新方法：张量网络和张量分解

    本研究主要介绍了张量网络、张量分解、多元分析，低秩逼近以及大数据分析等多个方面，并讨论了其在异常检测、特征提取、分类、聚类分析、数据融合和集成、模式识别、预测建模、回归、时间序列分析和多元分析等领域中的潜在应用。

    Mar, 2014

  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • Mixed-TD：具有层特定张量分解的高效神经网络加速器

    本文提出了一种基于混合张量分解方法 (Mixed-TD) 将卷积神经网络 (CNN) 映射到 FPGA 上的框架，该方法采用了层特定的奇异值分解 (SVD) 和标准分解 (CPD)，每个 DSP 可以实现与最先进的 CNN 的 1.73x 至 10.29x 的吞吐量。

    Jun, 2023