Jul, 2023

TensorGPT: 基于张量列车分解的 LLMs 嵌入层高效压缩

PDF
TL;DR本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。
large language modelstoken embeddingstensor-train decompositionmatrix product statemodel compression
发现论文，激发创造
  • 用张量嵌入层实现模型高效压缩

    本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。

    Jan, 2019

  • 使用张量列车矩阵表示的高效 GPT 模型预训练

    本研究通过将全连接层的矩阵替换为相应的张量列车矩阵结构以减少 GPT-2 体系结构的参数数量，并提出了一种可扩展的张量化层，以提高模型效率和最终模型的稳定性。

    Jun, 2023

  • 使用 Tensor-Train 分解提升 Nimble GNN 嵌入性能

    本文利用张量列车分解的方法，将图神经网络的嵌入表更紧凑地表示，从而降低了模型大小，实现了在大型公共基准数据集上节点嵌入向量大小的减小，且在多 GPU 系统上实现了相当或更好的准确性和显著的加速。本文还介绍了用于降低主机到 GPU 通信的方案。

    Jun, 2022

  • TT-Rec: 深度学习推荐模型的张量列车压缩

    本文研究了深度学习推荐模型中嵌入表的内存容量问题并提出了 Tensor Train 分解的解决方案。通过优化成熟度更低的 TT-Rec 及其核心部件 TT-EmbeddingBag，它在 Kaggle 和 Terabyte 数据集上均实现了 117 倍和 112 倍的模型大小压缩，并且没有任何准确性或训练时间开销。

    Jan, 2021

  • TQCompressor：通过排列改进神经网络中的张量分解方法

    我们介绍了一种新的神经网络模型压缩方法 TQCompressor，并使用改进的张量分解技术解决预训练语言模型在 NLP 任务中计算和存储需求方面的挑战。我们通过置换增强 Kronecker 分解，成功降低了模型表示能力的损失。我们将该方法应用于 GPT-2$_{small}$，得到了 TQCompressedGPT-2 模型。与 GPT-2$_{small}$ 的 124 百万参数相比，TQCompressedGPT-2 模型仅有 81 百万参数。我们公开提供了 TQCompressedGPT-2 模型。我们通过多步知识蒸馏的训练策略进一步提升了 TQCompressedGPT-2 的性能，仅使用 3.1％的 OpenWebText 语料库。在比较评估中，TQCompressedGPT-2 优于 DistilGPT-2 和 KnGPT-2，标志着在资源受限环境中高效有效地部署模型的进展。

    Jan, 2024

  • 探索预训练语言模型的极端参数压缩

    探索利用张量分解实现更大的压缩比率来压缩 BERT 模型的研究，取得了可接受的性能损失并显著提高了推理效率，最高压缩至原模型的 1/48，且在 GLUE 基准测试中取得了与原模型相当或略优的表现，该方法相对于蒸馏等现有的压缩方法独立有效。

    May, 2022

  • FoldGPT：简单高效的大型语言模型压缩方案

    通过对不同层次的大语言模型进行研究，本文发现多数层次的输出存在显著的相似性，并且随着模型规模的增加，这种相似性更加明显。基于这种观察，我们提出了一种高效的模型体积压缩策略，称为 FoldGPT，该策略通过块删除和块参数共享来实现模型轻量化。实验证明，FoldGPT 在高效模型压缩方面优于先前的最新方法，证明通过简单的块删除和参数共享实现模型轻量化是可行的。

    Jul, 2024

  • GPT 压缩的 Kronecker 分解

    本研究使用 Kronecker 分解压缩 GPT-22 模型的线性映射，并使用该技术训练得到一种新型的神经语言模型 KnGPT2，该模型在经过有效预训练后，可在具有相同参数数量的情况下，优于现有的 DistilGPT2 模型，在语言建模和通用语言理解评估基准任务上均取得了显著的成绩。

    Oct, 2021

  • 大型语言模型的语义压缩

    本研究探讨了大型语言模型在近似压缩和语义压缩方面的应用及其效果评价，并提出了二元评价指标：是否精确重构 (ERE) 和语义重构有效性 (SRE)，结果表明 GPT-4 可能有效地压缩和重构文本，并保留原始文本的语义要素。

    Apr, 2023

  • 自然语言处理的部分张量化变压器

    本研究利用张量列分解技术对 Transformer 视觉语言神经网络（BERT 和 ViT）进行压缩，从嵌入层压缩和神经网络的部分张量化两方面进行，提高了现有模型的准确性，无需后训练调整。

    Oct, 2023