Jan, 2021

TT-Rec: 深度学习推荐模型的张量列车压缩

PDF
TL;DR本文研究了深度学习推荐模型中嵌入表的内存容量问题并提出了 Tensor Train 分解的解决方案。通过优化成熟度更低的 TT-Rec 及其核心部件 TT-EmbeddingBag，它在 Kaggle 和 Terabyte 数据集上均实现了 117 倍和 112 倍的模型大小压缩，并且没有任何准确性或训练时间开销。
embedding tablesdeep learning recommendation modelstensor train decompositionweight initialization distributionmlperf-dlrm
发现论文，激发创造
  • MTrainS：使用异构内存提高 DLRM 训练效率

    通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

    Apr, 2023

  • 使用 Tensor-Train 分解提升 Nimble GNN 嵌入性能

    本文利用张量列车分解的方法，将图神经网络的嵌入表更紧凑地表示，从而降低了模型大小，实现了在大型公共基准数据集上节点嵌入向量大小的减小，且在多 GPU 系统上实现了相当或更好的准确性和显著的加速。本文还介绍了用于降低主机到 GPU 通信的方案。

    Jun, 2022

  • Mem-Rec: 使用替代表示的内存高效推荐系统

    本研究提出了 MEM-REC，一种基于布隆过滤器和哈希方法的分类特征编码技术，以用较小的嵌入表来取代传统的大型嵌入表，可以在商业推荐模型中提供高质量的个性化推荐，并提高嵌入延迟。

    May, 2023

  • TensorGPT: 基于张量列车分解的 LLMs 嵌入层高效压缩

    本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。

    Jul, 2023

  • 用张量嵌入层实现模型高效压缩

    本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。

    Jan, 2019

  • 基于张量分解的 DNN 模型压缩及优化框架

    本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

    Jul, 2021

  • 使用张量列压缩循环神经网络

    本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。

    May, 2017

  • 使用张量环压缩循环神经网络以进行动作识别

    提出了利用低秩张量环分解重新构建输入到隐藏层变换的紧凑型 LSTM 模型 TR-LSTM，不仅在处理高维输入数据（如视频和文本）方面更具可扩展性和可训练性，而且其良好的稳定性和与其他最先进竞争对手相比的较高性能进一步表明了它在序列数据建模中的潜力。

    Nov, 2018

  • 基于分块张量分解的简洁循环神经网络学习

    通过使用 Block-Term 张量分解方法，可以降低 RNNs 的参数数量从而提高其训练效率。

    Dec, 2017

  • 使用分层 Tucker 张量分解压缩循环神经网络

    本研究提出使用分层 Tucker 分解压缩循环神经网络，提高了其表示能力且相比于 TT-LSTM、TR-LSTM、BT-LSTM 等现有压缩模型，在不同数据集上同时实现了压缩比和测试准确度的显著提升。

    May, 2020