Oct, 2015

大规模科学数据的并行张量压缩

PDF
TL;DR本研究提出第一个能够在分布式内存上实现 Tucker 分解的并行算法，通过压缩科学模拟产生的大规模数据，尽量保持数据准确性。对使用该算法的真实数据集进行了压缩和精度分析，并提供了详细的性能结果，包括弱和强缩放实验中的并行性能。
parallel computingtucker decompositiondata compressiondistributed memoryperformance analysis
发现论文，激发创造
  • 使用 GPU Tensor Cores 的可扩展张量学习 CP 分解

    我们提出了 Exascale-Tensor，这是一种压缩基于张量分解的框架，用于支持超大规模张量分解，并通过实验证明了其可扩展性和有效性。

    Nov, 2023

  • 异步张量并行通信最小化

    本研究提出 Tensor3D 算法来高效地训练具有数十亿参数的神经网络，能够最小化通信引起的空闲时间，通过智能神经网络参数分布、并行训练过程的超分解以及通信模型，优化通信，相较于 Megatron-LM，Tensor3D 将 28B 参数 CNN 在 256 个 A100 GPU 上的训练时间缩短了近 60%。

    May, 2023

  • 无限 Tucker 分解：多元数据分析的非参数贝叶斯模型

    本篇论文提出了一种名为 InfTucker 的新的张量分解模型，采用基于贝叶斯模型的 tensor-variate latent nonparametric Bayesian 模型，并结合高效推理方法，适用于多元数据分析，可处理多种数据类型和不确定性，实验结果显示其预测准确性优于现有的最先进的 tensor 分解模型。

    Aug, 2011

  • 个性化 Tucker 分解：在张量数据上建模共性和个性

    我们提出了个性化的 Tucker 分解 (perTucker)，来解决传统张量分解方法在捕捉不同数据集间异质性方面的局限性。通过将张量数据分解为共享的全局分量和个性化的局部分量，学习不同数据集间的独特和共同表示，我们证明了 perTucker 在异常检测、客户分类和聚类等方面的有效性。

    Sep, 2023

  • 大数据处理的新方法：张量网络和张量分解

    本研究主要介绍了张量网络、张量分解、多元分析，低秩逼近以及大数据分析等多个方面，并讨论了其在异常检测、特征提取、分类、聚类分析、数据融合和集成、模式识别、预测建模、回归、时间序列分析和多元分析等领域中的潜在应用。

    Mar, 2014

  • 三维医学图像分割的训练后网络压缩：通过 Tucker 分解减少计算工作量

    通过张量分解研究网络压缩的有效性，我们提出了一种后训练 Tucker 分解方法，以减少预先存在模型的计算要求，而不会影响分割准确性。这种方法能够在计算效率和分割质量之间提供可调节的权衡，并且适用于医学图像分割模型的计算需求降低。

    Apr, 2024

  • 大规模并行无损数据解压缩

    本文提出利用 GPU 和 SIMD 体系结构的大规模并行和舍弃一些压缩效率以提高数据解压缩的并行度等技术，以增加 DEFLATE 方案解压缩性能并在减少 17％能耗的同时与多核 CPU-based 库相比实现 2 倍的速度提升。

    Jun, 2016

  • MACH: 快速随机张量分解

    本文提出了一种新的采样算法 MACH，用于计算 Tucker 分解，能够有效地处理大规模，计算密集型和后期数据分析的多方面数据。

    Sep, 2009

  • 大数据分析和大规模优化问题的张量网络

    本文探讨了基本的张量网络模型和相关算法，尤其是使用新的数学和图形表示的张量列车（TT）分解。通过张量化和使用量子化张量列车网络实现数据的超级压缩，对大规模数据优化问题进行了分布式表示，并通过优化迭代和近似张量缩并的方式，应用小型矩阵和张量运算来解决一系列难以用经典数值方法解决的问题，例如广义特征值分解，主成分分析 / 奇异值分解和规范相关分析。

    Jul, 2014

  • 用于信号处理应用的张量分解：从双向到多向分量分析

    本文从信号处理角度提供了关于高阶张量分解的全面介绍，包括基本的 CP 和 Tucker 模型，通过多种数据处理方法提供更加灵活和自然的潜在因素；研究表明张量分解可用作现代信号处理、数据分析和机器学习应用的最有效和最有前途的工具。

    Mar, 2014