KDDJun, 2022

使用 Tensor-Train 分解提升 Nimble GNN 嵌入性能

PDF
TL;DR本文利用张量列车分解的方法，将图神经网络的嵌入表更紧凑地表示，从而降低了模型大小，实现了在大型公共基准数据集上节点嵌入向量大小的减小，且在多 GPU 系统上实现了相当或更好的准确性和显著的加速。本文还介绍了用于降低主机到 GPU 通信的方案。
graph neural networksembedding tablestensor-train decompositiongpu platformshierarchical graph partitioning
发现论文，激发创造
  • TT-Rec: 深度学习推荐模型的张量列车压缩

    本文研究了深度学习推荐模型中嵌入表的内存容量问题并提出了 Tensor Train 分解的解决方案。通过优化成熟度更低的 TT-Rec 及其核心部件 TT-EmbeddingBag，它在 Kaggle 和 Terabyte 数据集上均实现了 117 倍和 112 倍的模型大小压缩，并且没有任何准确性或训练时间开销。

    Jan, 2021

  • TensorGPT: 基于张量列车分解的 LLMs 嵌入层高效压缩

    本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。

    Jul, 2023

  • 使用哈希的嵌入压缩技术，用于大规模图表现学习的高效方法

    通过使用压缩方法，我们可以将节点嵌入用比浮点向量更紧凑的向量表示，从而实现在工业级规模的图形数据上快速训练图神经网络，同时达到更好的性能。

    Aug, 2022

  • 用张量嵌入层实现模型高效压缩

    本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。

    Jan, 2019

  • 张量列车邻域保持嵌入

    本文针对多维张量数据提出了一种新的张量拓扑嵌入方法，即 Tensor Train Neighborhood Preserving Embedding (TTNPE)，并提出了一种考虑分类、计算及降维存储三个因素的新型权衡度量方法。在 MNIST handwritten digits 和 Weizmann face 等数据集上验证表明，与现有的张量嵌入方法相比，TTNPE 在分类、计算及降维存储方面有优越的综合性能。

    Dec, 2017

  • 使用张量列压缩循环神经网络

    本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。

    May, 2017

  • 压缩循环神经网络的张量分解

    本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化，旨在减少参数数量并保持表达能力，研究表明，在序列建模方面，Tensor Train 表现最佳。

    Feb, 2018

  • 使用分层 Tucker 张量分解压缩循环神经网络

    本研究提出使用分层 Tucker 分解压缩循环神经网络，提高了其表示能力且相比于 TT-LSTM、TR-LSTM、BT-LSTM 等现有压缩模型，在不同数据集上同时实现了压缩比和测试准确度的显著提升。

    May, 2020

  • 基于分块张量分解的简洁循环神经网络学习

    通过使用 Block-Term 张量分解方法，可以降低 RNNs 的参数数量从而提高其训练效率。

    Dec, 2017

  • 使用张量列车矩阵表示的高效 GPT 模型预训练

    本研究通过将全连接层的矩阵替换为相应的张量列车矩阵结构以减少 GPT-2 体系结构的参数数量，并提出了一种可扩展的张量化层，以提高模型效率和最终模型的稳定性。

    Jun, 2023